如何充分发挥 Scrapy 的异步能力【转载】scrapy.core.scraper.Scraperscrapy.core.spidermw.SpiderMiddlewareManagerscrapy.core.scraper.Scraperscrapy.core.scraper.Scraperscrapy.core.engine.ExecutionEnginescrapy.core.downloader.Downloaderscrapy.core.downloader.middleware.D
作为一个易上手的高性能爬虫框架，Scrapy 使用 Twisted 异步网络框架处理并发请求。但是，在日常工作和面试过程中，经常发现有些同学会笃定地认为 Scrapy 采用的是多线程并发模型。实际上，虽 然 Twisted 框架提供了线程池支持，但是其核心网络部分处理逻辑依赖的是「单线程 IO 多路复用」技术，在 Linux 平台上，是围绕 epoll() 系统调用实现的 Reactor 模式。...
