python爬虫优势和缺点_三种分布式爬虫策略的优缺点
三种分布式爬虫策略：(1)Slaver端从Master端拿任务(Request/url/ID)进行数据抓取，在抓取数据的同时也生成新任务，并将任务分配给Master端。Master端只有一个Redis数据库，负责对Slaver提交的任务进行去重、加入待爬队列。优点scrapy-redis默认使用的就是这种策略，我们实现起来很简单，因为任务调度等工作scrapy-redis都已经帮我们做好了，我们只...
