Scrapy框架基础Scrapy框架基础
文档英文文档中文文档什么是scrapy基于twisted搭建的异步爬虫框架.scrapy爬虫框架根据组件化设计理念和丰富的中间件, 使其成为了一个兼具高性能和高扩展的框架scrapy提供的主要功能具有优先级功能的调度器去重功能失败后的重试机制并发限制ip使用次数限制…scrapy的使用场景不适合scrapy项目的场景业务非常简单, 对性能要求也没有那么高, 那么我们写多进程, 多线程, 异步脚本即可.业务非常复杂, 请求之间有顺序和失效时间的限制.
