概述
1.DHT爬虫基础
- 了解DHT协议:https://blog.csdn.net/xxxxxx91116/article/details/7970815
- 了解DHT爬虫原理:https://www.cnblogs.com/xiejc/p/3727229.html
- 在simDHT基础上改造:https://github.com/wuzhenda/simDHT
2.simDHT爬虫源代码修改
在实际过程中发现获取到的hashinfo,数量非常少。通过阅读源码发现,simDHT仅仅获取了announce_peer的hashinfo。忽略了get_peer的,所以我们需要把这部分hashinfo增加上去。
3.DHT爬虫运行基本环境
在内网运行过,发现收不到任何的节点数据请求:find_node,announce_peer,get_peer。据说和防火墙和NAT有关系。所以需要一个具有外网ip的机器(阿里云服务器可以额)。
4.通过hashinfo下载torrent文件,解析文件。
最后
以上就是沉默草莓为你收集整理的DHT 爬虫的全部内容,希望文章能够帮你解决DHT 爬虫所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复