python爬虫教程：详解4种类型的爬虫技术
聚焦网络爬虫是“面向特定主题需求”的一种爬虫程序，而通用网络爬虫则是捜索引擎抓取系统(Baidu、Google、Yahoo等)的重要组成部分，主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。增量抓取意即针对某个站点的数据进行抓取，当网站的新增数据或者该站点的数据发生变化后，自动地抓取它新增的或者变化后的数据。Web页面按存在方式可以分为表层网页(surface Web)和深层网页(deep Web，也称invisible Web pages或hidden Web)。表层网页是
