网络爬虫简介前言介绍命名概述爬虫策略平衡礼貌策略并行策略
前言没什么可以讲的所以就介绍爬虫吧介绍网络爬虫（英语：web crawler），也叫网路蜘蛛（spider），是一种用来自动浏览万维网的网络机器人。其目的一般为编纂网络索引。网路搜索引擎等站点通过爬虫软体更新自身的网站内容（英语：Web content）或其对其他网站的索引。网路爬虫可以将自己所访问的页面保存下来，以便搜索引擎事后生成索引（英语：Index (search engine)）供用户搜索。爬虫访问网站的过程会消耗目标系统资源。不少网络系统并不默许爬虫工作。因此在访问大量页面时，爬虫需
