我是靠谱客的博主 文静棒棒糖,最近开发中收集的这篇文章主要介绍hadoop图形化界面上只有一个datanode,集群中其他节点没有显示出来,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

最近了解一些大数据知识,自己尝试着搭建hadoop集群,但是遇到了很多坑,总结一下。

hadoop-daemon.sh开启集群,设置了3台虚拟机来当作集群,在master节点通过jps命令查看,看到3台集群的DataNode,NameNode、SecondaryNameNode都已启动,在slave节点通过jps命令查看,每台服务器的东西都启动成功。

但是在图形化界面上看只有一个DataNode,网络上搜索了一下, 有如下原因,就是在以下目录下有一个文件VERSION,如果集群中的每个机器都有这个文件,并且里面datanodeUuid,storageID,clusterID参数都一样会引起DataNode显示不出来
/opt/module/hadoop-2.7.2/data/tmp/dfs/data/current

于是我思考了一下,发现自己在执行hdfs namenode -format命令后还进行了服务器文件同步,这样确实会导致每个服务器的VERSION都是一样的,于是乎,手动把其他虚拟机上的dfs目录删除掉,然后这个时将所有内容重启。

没想到还是不行,还是为空
在google上搜索了一个命令,hdfs dfsadmin -report 这个可以查看datanode节点的信息,没想到查出来的也是空。

然后开始了一步步的排查
1.首先排查几个虚拟机之间是否可以ping通,答案是可以的
2.排查防火墙iptables关闭执行命令chkconfig --list iptables发现防火墙已经关闭
3.查看9000端口netstat -an | grep 9000
在这里插入图片描述
以上显示即为正常,如果要是都是127.0.0.1,那么就说明你没有修改ip这个就去修改hosts文件吧。

仔细检查了以上内容发现都没问题,于是有点奇怪

然后又看了一些文档说了ssl会影响集群的建立,突然想到主节点是普通用户启动的,而另外2个节点都是使用root用户启动的,赶紧将另外2个修改为普通用户保证集群中的用户都是同一用户,重新启动,这回执行 hdfs dfsadmin -report发现另外2个datanode也出现在了列表中。
在这里插入图片描述
这个时候回到图形化界面发现所有节点都出现了
在这里插入图片描述
如果解决了你的问题点个赞吧

最后

以上就是文静棒棒糖为你收集整理的hadoop图形化界面上只有一个datanode,集群中其他节点没有显示出来的全部内容,希望文章能够帮你解决hadoop图形化界面上只有一个datanode,集群中其他节点没有显示出来所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(46)

评论列表共有 0 条评论

立即
投稿
返回
顶部