Python爬虫-Scrapy-Redis分布式
Scrapy-Redis 分布式1 分布式概述1.0 scrapy-redis是什么之前我们已经学习了Scrapy，它是一个通用的爬虫框架，能够耗费很少的时间就能够写出爬虫代码Scrapy-redis是scrapy的一个组件，它使用了Redis数据库做为基础，目的为了更方便地让Scrapy实现分布式爬取Scrapy能做的事情很多，但是要做到大规模的分布式应用则捉襟见肘。有能人改变了Sc...
