Scrapy- 异步爬虫框架-分布式爬虫scrapy-redis-python爬虫知识点8一、scrapy简介二、scrapy 的快速入门三、scrapy 的多种请求方式四、crawlspider自动获取url五、scrapy-redis分布式爬虫六、scrapy 的实现案例
一、scrapy简介优点可配置、可扩展性非常高比较灵活，让稳定和快速基于异步，内部封装了这个twisted异步网络框架，复杂，采用了大量闭包也提供了可控的速度队列1，保存每一页的url，爬取数据爬取的数据 后保存到队列2中，存放图片的url和名字线程，去队列中get 图片url 并保存文件搭好架子cto 技术总监 架构师ceo二、scrapy 的工作流程引擎–发动机–统筹全局 - 整个框架的核心调度器–接收从引擎发过来的url，入列，一直工作到没有url了爬虫程序：整
