md5会重复吗_听说你的爬虫一直在整站里循环绕圈圈爬取重复的数据？

今天 小帅b要跟你说说 增量爬虫 是这样的 当你去爬取某个网站的数据时 你会发现 这些网站随着时间的推移 会更新更多的网页数据 这时候你要爬取的是 那些更新的网页数据 而不是 又一次爬取整站的内容 对于一些稍微复杂点的网站 它们的 url 之间会指来指去 如果你根据 url 的定向去爬取 可能会出现这种情况

你的爬虫一直在里面绕圈圈 一直爬取重复的数据 这时候你的爬虫 开始陷入了对人生的大思考 那么如何确保 爬取的数据不要重复？ 接下来就是 学习 python 的正确姿势

有朋友说 那就直接用数据库呗 在爬取前 把 url 存入数据库 下次爬取的时候 再到数据库里面查询 看下这个 url 是否存在数据库 如果存在 那就说明 这个 url 之前已经被爬取过了 如果不存在 就把 url 保存到数据库中 这种方式虽然可行 但是如果数量一多 查询速度就会大大降低 从而影响爬取效率了 其实 python 中有一个 我们熟悉的数据结构 set set 里面的元素是唯一不重复的 所以我们可以将 url 塞进去 下次通过 in 来判断就可以了 因为它的平均复杂度为 O(1) 这样就比数据库的操作高效很多了

但是 这种方式有一个问题 使用 python 的 set 是作用于内存的 一旦 url 的数量增多 就会很耗内存

不知道你还记得咱们之前说的这个 如果你怕文件被篡改，那就这样做 在这里面咱们说到了 hash 通过散列可以生成唯一的指纹 那么这时候 我们可以使用 url 进行 hash 比如进行 MD5 加密 由于 MD5 值所占的内存更小  所以可以通过 MD5 来降低 url 的内存 也就是说 直接把 url 进行 MD5 然后把得到的 MD5  放进 set 就好了 可以做到缩短 url 的 长度来降低内存的消耗 当然了 还有与之类似的 redis redis 中也有和 Python 相似的 set 我们可以使用它来存储 url 的 MD5 这种缓存数据库的优点在于 它可以作用于硬盘 不会有消耗内存的压力 而对于海量数据的情况 我们可以考虑使用 bloom filter 它的操作方式是这样的 使用 k 个 hash 函数 来对集合中的 url 映射成 位数组中的 k 个点 然后把他们置 1  下次查询的时候 只要通过 hash 看看这个 url 的结果是不是都是 1 如果都是 1 这个 url 就可能存在 如果有任何一个 0 就说明这个 url 一定不存在 懵逼了？ 我来画个图吧 一开始是这样的 假设我们集合有 n 个 url

这里初始化了位数组 都是0 接着对集合中的 url 都进行 k 个 hash 这里以 url4 为例

可以看到 hash 之后映射到 1 当下次要判断新的 url 是否在集合中的时候 就可以使用 hash 去查找

只要发现有 0 那么就说明这个 new_url  一定不存在于集合中 这样的方式可以节省超多的空间 提高了空间的利用率 在 python 中 早有实现了 bloomfilter 的库 pybloom 可以自己定义容量和容错率

使用 add 方法

如果元素存在就直接返回 True

如果不存在就返回 False

此外

还可以使用动态容量的方式

ok 通过以上这些方法 对于数据的去重 相信你应该知道怎么做了 那么 我们下回见啦 peace   

扫一扫

学习 Python 没烦恼

ps： 如果你想获取更多小帅b提供的私密非公开且纯净无广告的干货 vip 教程，可以了解一下： 跟小帅b一起通往「Python高手之路」