从零搭建Redis-Scrapy分布式爬虫
零、Scrapy-Redis分布式策略：假设我有四台电脑：Windows 10、Mac OS X、Ubuntu 16.04、CentOS 7.2Master端(核心服务器) - Windows 10：搭建一个Redis数据库，不负责爬取，只负责url指纹判重、Request的分配，以及数据的存储Slave端(爬虫程序执行端) - Mac OS X 、Ubuntu 16.04、CentOS ...
