分布式爬虫配置(伯乐在线为例)
依赖环境:redis >=2.8scrapy >=1.1分布式爬虫:将一个项目拷贝到多台电脑上,同时爬取数据。1.必须保证所有电脑上的代码是相同的配置。2.在其中一台电脑上启动redis和MySQL的数据库服务。3.同时将所有的爬虫项目运行起来。4.在启动redis和MySQL的电脑上, 向redis中添加起始的url。q = queue()url = q.get...