解决Scrapy性能问题——案例六(下载器中请求太少)
症状:增加了CONCURRENT_REQUESTS,但是下载器并没有得到充分的利用,调度器也是空的。示例:首先来运行一个没有这种问题的例子,把响应时间设置成1s,这样可以简化下载器吞吐量的计算:T = N/S = N/1 = CONCURRENT_REQUESTS。$ time scrapy crawl speed -s SPEED_TOTAL_ITEMS=500 \-s SPEED_T_RESP