我是靠谱客的博主 沉默草莓,最近开发中收集的这篇文章主要介绍DHT 爬虫,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

1.DHT爬虫基础

  1. 了解DHT协议:https://blog.csdn.net/xxxxxx91116/article/details/7970815
  2. 了解DHT爬虫原理:https://www.cnblogs.com/xiejc/p/3727229.html
  3. 在simDHT基础上改造:https://github.com/wuzhenda/simDHT

2.simDHT爬虫源代码修改

在实际过程中发现获取到的hashinfo,数量非常少。通过阅读源码发现,simDHT仅仅获取了announce_peer的hashinfo。忽略了get_peer的,所以我们需要把这部分hashinfo增加上去。
在这里插入图片描述

3.DHT爬虫运行基本环境

在内网运行过,发现收不到任何的节点数据请求:find_node,announce_peer,get_peer。据说和防火墙NAT有关系。所以需要一个具有外网ip的机器(阿里云服务器可以额)。

4.通过hashinfo下载torrent文件,解析文件。

最后

以上就是沉默草莓为你收集整理的DHT 爬虫的全部内容,希望文章能够帮你解决DHT 爬虫所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(60)

评论列表共有 0 条评论

立即
投稿
返回
顶部