我是靠谱客的博主 矮小嚓茶，最近开发中收集的这篇文章主要介绍使用 scrapy-redis实现分布式爬虫Scrapy 和 scrapy-redis的区别，觉得挺不错的，现在分享给大家，希望可以做个参考。
概述
Scrapy 和 scrapy-redis的区别
Scrapy 是一个通用的爬虫框架，但是不支持分布式，Scrapy-redis是为了更方便地实现Scrapy分布式爬取，而提供了一些以redis为基础的组件(仅有组件)。
pip install scrapy-redis
Scrapy-redis提供了下面四种组件（components）：(四种组件意味着这四个模块都要做相应的修改)
SchedulerDuplication FilterItem PipelineBase Spider
scrapy-redis架构
如上图所⽰示，scrapy-redis在scrapy的架构上增加了redis，基于redis的特性拓展了如下组件：
Scheduler：
Scrapy改造了python本来的collection.deque(双向队列)形成了自己的Scrapy queue(
最后
以上就是矮小嚓茶为你收集整理的使用 scrapy-redis实现分布式爬虫Scrapy 和 scrapy-redis的区别的全部内容，希望文章能够帮你解决使用 scrapy-redis实现分布式爬虫Scrapy 和 scrapy-redis的区别所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复