搭建hadoop环境遇到的问题

不断扩充中  嗯 ing~

目录

1、50070端口访问失败 ，已关闭防火墙。18088端口可以访问

2、datanode没有启动

3、jdk安装报错：Error occurred during initalization of VM java/lang/NoClssDefFoun

4、格式化hadoop报错java.lang.InternalError: internal error: SHA-1 not available.

5、执行hdfs namenode -format报错

遇到的问题：

1、50070端口访问失败 ，已关闭防火墙。18088端口可以访问

•  i.查看日志

       $HADOOP_HOME/logs/下面的与NameNode相关的日志，查看日志后没有发现ERROR信息；

• ii.检查50070端口是否启动

[root@wlh ~]#netstat  -anp | grep 50070

[root@wlh ~]#sh start-dfs.sh

2、datanode没有启动

[root@wlh sbin]# jps

15552 ResourceManager

15812 NodeManager

15365 SecondaryNameNode

15094 NameNode

18345 Jps*/

原因是 执行了多次格式化 ，解决方法：

• a.删除current目录下的tmp文件夹，重新建立

              [root@wlh current]# rm -rf tmp

              [root@wlh current]# mkdir tmp

              [root@wlh tmp]# mkdir logs

• b.删除logs文件夹，重新建立

              [root@wlh hadoop-3.0.0-alpha1]# rm -rf logs

              [root@wlh hadoop-3.0.0-alpha1]# mkdir logs

• c.执行格式化

              [root@wlh hadoop]# hdfs namenode -format

• d.启动服务

              [root@wlh hadoop]# /opt/hadoop-3.0.0-alpha1/sbin/start-dfs.sh

              [root@wlh hadoop]# /opt/hadoop-3.0.0-alpha1/sbin/start-yarn.sh

• e.再次执行jps

              [root@wlh hadoop]# jps

              22017 ResourceManager

              22274 NodeManager

              21635 DataNode

              21813 SecondaryNameNode

              22443 Jps

              21550 NameNode

问题3、4 都是帮助其他朋友安装时遇到的问题，他用的jdk版本是jdk-8u121-linux-i586.rpm

3、jdk安装报错：Error occurred during initalization of VM java/lang/NoClssDefFoun

    出现此问题先检查环境变量配置是否正确，如果没问题就看一下lib和jre/lib中的rt.pack、tools.pack如果发现这两个文 的话，就是因为他们没有解压我们只需要把他们解压成rt.jar和tools.jar就一切OK了 

如： 

    Java 代码

    unpack200 rt.pack rt.jar

4、格式化hadoop报错java.lang.InternalError: internal error: SHA-1 not available.

• 原因，找不到类，把java里面的jar全部加到classPath中，既 在profile文件中添加

 CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar 
 export PATH JAVA_HOME CLASSPATH

如果还不能解决问题，就换个jdk吧~

5、另一个小朋友的问题 执行hdfs namenode -format报错

解决方法：

• 查看hosts和network两个文件中hostname配置

• 修改host文件中的主机名，reboot

• 重新执行hdfs namenode -format

最后

以上就是专一皮皮虾为你收集整理的搭建hadoop环境遇到的问题的全部内容，希望文章能够帮你解决搭建hadoop环境遇到的问题所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。