爪巴虫笔记Class1-简介
爬虫分类按照系统结构和实现技术分为几种类型：通用网络爬虫： 尽可能大的网络覆盖如搜索引擎(百度，google)聚焦网络爬虫：有目标性，选择性地访问万维网来爬取信息增量式网络爬虫： 只爬取新产生的或者已经更新的页面信息(耗时少，难度大)深层网络爬虫：通过提交一些关键字才能获取的Web页面，如登录或注册后的页面应用场景在数据挖掘、机器学习、图像处理等科学研究领域，如果没有数据，则可以通过爬虫从网上抓取在Web安全方面，使用爬虫可以对网站是否存在某一漏铜进行批量验证、利用；在产品研发方面，
