scrapy-redis使用以及剖析
这是转载博客园上的一篇文章,通过下面的这行代码解决了把scrapy的request 存入到redis数据库里面,没开启前只有item列表和去重集合存储到redis数据库。# Enables scheduling storing requests queue in redisSCHEDULER = "scrapy_redis.scheduler.Scheduler"scrapy-redis...