从零搭建Redis-Scrapy分布式爬虫
零、Scrapy-Redis分布式策略:假设我有四台电脑:Windows 10、Mac OS X、Ubuntu 16.04、CentOS 7.2Master端(核心服务器) - Windows 10:搭建一个Redis数据库,不负责爬取,只负责url指纹判重、Request的分配,以及数据的存储Slave端(爬虫程序执行端) - Mac OS X 、Ubuntu 16.04、CentOS ...