我是靠谱客的博主 平常西装,这篇文章主要介绍提高scrapy的爬取速度一、降低下载延迟二、多线程三、禁用cookies,现在分享给大家,希望可以做个参考。

 

爬取大量数据的时候,爬取速度显著影响着爬取用时,总结一下我在使用scrapy的时候用来提升爬取速度的方法。

settings.py中设置如下参数:

DOWNLOAD_DELAY = 0

CONCURRENT_REQUESTS = 100
CONCURRENT_REQUESTS_PER_DOMAIN 

最后

以上就是平常西装最近收集整理的关于提高scrapy的爬取速度一、降低下载延迟二、多线程三、禁用cookies的全部内容,更多相关提高scrapy内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(39)

评论列表共有 0 条评论

立即
投稿
返回
顶部