大数据平台建设系列之数据采集-scrapy网络爬虫加速设置(二)
首先给大家分享一个爬虫对抗图再给大家分享一个最新的scrapy架构图总结的scrapy配置提升方法爬取大量数据的时候，爬取速度显著影响着爬取用时，总结一下我在使用scrapy的时候用来提升爬取速度的方法。在settings.py中设置如下参数：DOWNLOAD_DELAY = 0CONCURRENT_REQUESTS = 100CONCURRENT_REQUESTS_PER_DOMAIN = 100CONCURRENT_REQUESTS_PER_IP = 100COOKIES_ENAB
