概述
可通过配置并发连接选项对spider速度进行优化
settings.py
| 选项 | 说明 |
|---|---|
| CONCURRENT_REQUESTS | Downloader最大并发请求下载数量，默认32 |
| CONCURRENT_ITEMS | Item Pipeline最大并发ITEM处理数量，默认100 |
| CONCURRENT_REQUESTS_PER_DOMAIN | 每个目标域名最大的并发请求数量，默认8 |
| CONCURRENT_REQUESTS_PER_IP | 每个目标IP最大的并发请求数量，默认0，非0有效 |
最后
以上就是清新乌冬面为你收集整理的进一步提高scrapy爬虫爬取速度的全部内容，希望文章能够帮你解决进一步提高scrapy爬虫爬取速度所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复