提高scrapy的爬取效率
增加并发：默认scrapy开启的线程数为32个，可以适当进行增加，在seeting配置文件中修改councurrent_requests=100降低日志等级：在运行scrapy运行时，会有大量日志输出，为了减少cpu的使用率，可将日志等级设置为log=error或log=info禁用cookie：如果不是真的需要使用cookie，可以直接禁用cookie，提升爬取效率...
玩命小丸子
他的归档
热门文章
