scrapy多爬虫以及爬取速度
scrapy多爬虫以及爬取速度 主要这段时间一直使用的就是scrapy这个框架，因为公司里面需要爬取大量的网站，所以才使用了多爬虫，但是目前测试也只是几十个，一直也想不到更好的方法去同时抓取成千上百个结构不同的网站，所以也很是苦逼的用了scrapy里面的多爬虫，对每个网站分别解析，还好虽然几次改需求但是字段都是统一的，可以很轻松的通过itempipline去入库。 像多爬虫这个东西，我
