爬虫日记(34)：爬虫的基本数据库Redis
前面学习了mongodb数据库，这个数据库有很好的优点，也支持分布式部署，还支持大数据保存，这是一个很好用的数据库。不过，有时候我们在开发爬虫的过程中，会遇到这样一种场景，比如我们去抓取一个新闻网站，如果不断地去网站上抓取所有数据，必然效率低下，另外也会造成别人的网站服务降低，导致各大网站非常讨厌爬虫。肯定这种不断地从原网站下载的方法是不合适的，因此我们必须改变这种做法，从而需要使用redis数据库来解决这个问题。这个又是怎么样说呢？其实这个方法比较常见的方式，比如你去下载网站的数据，可以先缓存
