【Scrapy爬虫系列2】性能调优
加快爬虫速度：在 settings.py 里把 TIMEOUT 设小点提高并发数（ CONCURRENT_REQUESTS ）瓶颈在 IO ，所以很有可能 IO 跑满，但是 CPU 没跑满，所以你用 CPU 来加速抓取其实是不成立的。不如开几个进程来跑死循环，这样 CPU 就跑满了在 setting.py 里面，可以把单 IP 或者单 domain 的 concurrent
