Scrapy中的自动限速扩展详解
AutoThrottle extension(自动限速)该扩展基于Scrapy服务器负载和当前爬取站点的负载,能够将爬虫的爬取速度自动调整至最佳。你只需要设置请求并发数,扩展就可以完成其他工作师以实现自动限制爬虫请求发起的速度。本文整理自scrapy官方文档基本思想AutoThrottle 动态调整请求间的下载延迟,让爬虫平均向各个网站发送AUTOTHROTTLE_TARGET_CONCURRENCY个并发请求。其思想如下:如果服务器响应需要的时间为latency,那客户端每lantency/