我是靠谱客的博主 醉熏帽子,最近开发中收集的这篇文章主要介绍Namenode:Failed to start namenode(伪分布式环境配置)准备材料 jdk1.8和hadoop2.7第一步:确定虚拟机的IP地址(命令ipconfig),设置IP地址与主机的映射关系第二步:关闭防火墙并查看防火墙的状态第三步:配置java环境第四步:解压hadoop文件,进入/etc/hadoop,修改hadoop-env.sh,导入JAVA_HOME的路径第五步:修改四个配置文件第六步:修改、etc/profile 导入hadoop路径,之后记得source /et,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

真是“千呼万唤使出来”,NameNode结点出现真的不容易啊!!!

搞了两天,终于出现了,可开心了,以图为鉴

第一天下载了centos7,并安装了一下

准备材料 jdk1.8和hadoop2.7

在usr目录下新建apps和data文件夹

data文件夹用于存放压缩包

apps文件夹用于安装文件

详细步骤:

第一步:确定虚拟机的IP地址(命令ipconfig),设置IP地址与主机的映射关系

主机名可以修改的

vim /etc/hosts

第二步:关闭防火墙并查看防火墙的状态

systemctl stop firewalld.service  #关闭防火墙
firewall-cmd --state              #查看防火墙状态

第三步:配置java环境

可参考https://blog.csdn.net/lylg_ban/article/details/109676369?spm=1001.2014.3001.5501 不在赘述

第四步:解压hadoop文件,进入/etc/hadoop,修改hadoop-env.sh,导入JAVA_HOME的路径

第五步:修改四个配置文件

core-site.xml

<!--指定namenode的地址-->
   <property>
               <name>fs.defaultFS</name>
               <value>hdfs://master:9000</value>
   </property>
   <!--用来指定使用hadoop时产生文件的存放目录-->
   <property>
            <name>hadoop.tmp.dir</name>
            <value>file:/usr/apps/hadoop-2.7.0/data</value>
   </property>

hdfs-site.xml

  <!--指定hdfs保存数据的副本数量-->
    <property>
            <name>dfs.replication</name>
            <value>1</value>
    </property>

mapred-site.xml

<!--告诉hadoop以后MR(Map/Reduce)运行在YARN上-->
        <property>
              <name>mapreduce.framework.name</name>
              <value>yarn</value>
       </property>

yarn-site.xml

    <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>master</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
     </property>

第六步:修改、etc/profile 导入hadoop路径,之后记得source /etc/profile(至此已快成功)

#set java_home
export JAVA_HOME=/usr/apps/jdk1.8.0_281
export PATH=$PATH:$JAVA_HOME/bin
#set hadoop_home
export HADOOP_HOME=/usr/apps/hadoop-2.7.0
export PATH=$PATH:$HADOOP_HOME/bin

第七步:切换到hadoop主目录,格式化namenode

[root@master hadoop-2.7.0]# hadoop namenode -format

第八步:启动dfs.sh

[root@master hadoop-2.7.0]# sbin/start-dfs.sh

第九步:查看结点的启动情况

结果namenode并没有启动成功

第二天重点解决这个问题

一开始不知道查看logs文件,浪费了很长时间去搜索,然而并没有很大的作用

一般的操作:删除logs文件的内容,还有临时文件的内容,然后重新格式化,在开启dfs.sh,最后就好了,对我而言,好像并没有作用。

知道下午才发现了logs文件,并找到了错误所在

[root@master hadoop-2.7.0]# cd logs
[root@master logs]# vim hadoop-root-namenode-master.log 

错误说的很清楚,存储目录不存在或者权限不够,经查看data/dfs目录下确实没有name目录

在网上由搜索了一番,最后发现是我的hdfs-site.xml配置文件的问题

<property>
            <name>dfs.replication</name>
            <value>1</value>

        </property>
<property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/usr/apps/hadoop-2.7.0/data/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/usr/apps/hadoop-2.7.0/data/dfs/data</value>
        </property>

在hdfs-site.xml文件中指定namenode和datanode的目录地址,否则的话,容易出现结点不启动的问题。

修改hdfs-site.xml文件之后,重新格式化namenode,在开启dfs.sh结果成功出现各个结点。

还有一点需要配置ssh免密登录,详情请见https://blog.csdn.net/lylg_ban/article/details/115383625

最后

以上就是醉熏帽子为你收集整理的Namenode:Failed to start namenode(伪分布式环境配置)准备材料 jdk1.8和hadoop2.7第一步:确定虚拟机的IP地址(命令ipconfig),设置IP地址与主机的映射关系第二步:关闭防火墙并查看防火墙的状态第三步:配置java环境第四步:解压hadoop文件,进入/etc/hadoop,修改hadoop-env.sh,导入JAVA_HOME的路径第五步:修改四个配置文件第六步:修改、etc/profile 导入hadoop路径,之后记得source /et的全部内容,希望文章能够帮你解决Namenode:Failed to start namenode(伪分布式环境配置)准备材料 jdk1.8和hadoop2.7第一步:确定虚拟机的IP地址(命令ipconfig),设置IP地址与主机的映射关系第二步:关闭防火墙并查看防火墙的状态第三步:配置java环境第四步:解压hadoop文件,进入/etc/hadoop,修改hadoop-env.sh,导入JAVA_HOME的路径第五步:修改四个配置文件第六步:修改、etc/profile 导入hadoop路径,之后记得source /et所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(58)

评论列表共有 0 条评论

立即
投稿
返回
顶部