提高scrapy的爬取速度

爬取大量数据的时候，爬取速度显著影响着爬取用时，总结一下我在使用scrapy的时候用来提升爬取速度的方法。

在settings.py中设置如下参数：

DOWNLOAD_DELAY = 0
CONCURRENT_REQUESTS = 100
CONCURRENT_REQUESTS_PER_DOMAIN = 100
CONCURRENT_REQUESTS_PER_IP = 100
COOKIES_ENABLED = False

一、降低下载延迟

DOWNLOAD_DELAY = 0

将下载延迟设为0，这时需要相应的防ban措施，一般使用user agent轮转，构建user agent池，轮流选择其中之一来作为user agent。

user agent轮转可参考博客http://blog.csdn.net/u012150179/article/details/35774323#

二、多线程

CONCURRENT_REQUESTS = 100

CONCURRENT_REQUESTS_PER_DOMAIN = 100

CONCURRENT_REQUESTS_PER_IP = 100

scrapy网络请求是基于Twisted，而Twisted默认支持多线程，而且scrapy默认也是通过多线程请求的，并且支持多核CPU的并发，我们通过一些设置提高scrapy的并发数可以提高爬取速度。

三、禁用cookies

COOKIES_ENABLED = False
禁用cookies可以避免被ban

经过实测，以上设置可以大幅提升scrapy的爬取速度。

最后

以上就是炙热蜻蜓为你收集整理的提高scrapy的爬取速度的全部内容，希望文章能够帮你解决提高scrapy的爬取速度所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。