可通过配置并发连接选项对spider速度进行优化
settings.py
| 选项 | 说明 |
|---|---|
| CONCURRENT_REQUESTS | Downloader最大并发请求下载数量，默认32 |
| CONCURRENT_ITEMS | Item Pipeline最大并发ITEM处理数量，默认100 |
| CONCURRENT_REQUESTS_PER_DOMAIN | 每个目标域名最大的并发请求数量，默认8 |
| CONCURRENT_REQUESTS_PER_IP | 每个目标IP最大的并发请求数量，默认0，非0有效 |
最后
以上就是清新乌冬面最近收集整理的关于进一步提高scrapy爬虫爬取速度的全部内容，更多相关进一步提高scrapy爬虫爬取速度内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复