hadoop单节点安装

Hadoop的单节点安装

1、设置静态ip

vim /etc/sysconfig/network-scripts/enth0(你想要设置成静态ip的网卡名)

BOOTPROTO=static(将ip设置为静态)

ONBOOT=yes(开机启动)

IPADDR=192.168.122.1(你的ip地址,不知道的话可以使用命令ifconfig来查看)

NETMASK=255.255.255.0(子网掩码)

GATEWAY=192.168.122.1(网关)

DNS1=8.8.8.8(域名解析器：8.8.8.8与8.8.4.4为谷歌的免费解析服务器)

2、修改主机名

vim /etc/hostname（把自己想要改成的主机名写在文件里,文件内容只有你的主机名）

3、创建映射

vim /etc/hosts（格式为：ip+空格+主机名,如:  192.168.122.1   localhost）

4、关闭防火墙

systemctl stop firewalld.service( .service可以省略)

阻止防火墙开机自启

systemctl disable firewalld.service

5、安装JDK(安装路径自己选择,我装在/opt下)

a、把jdk复制到远程机上 /opt目录下

scp jdk-8u131-linux-x64.tar.gz root@192.168.122.2:/opt

b、解压文件

#tar -xzvf jdk-8u131-linux-x64.tar.gz -C

c、删除压缩包

rm -f jdk-8u131-linux-x64.tar.gz

d、# vi /etc/profile（如果连环境变量都不会配的话，再去学一遍Java吧，兄弟）

文件中插入以下代码

export JAVA_HOME=/opt/jdk1.8.0_131（你的JDK安装路径）

export PATH=$JAVA_HOME/bin:$PATH

  保存退出(ESC,然后输:x回车)

e、#source /etc/profile 执行后生效

f、java -version 检查是否安装配置好

6、本机ssh免密登录

192.168.122.1  免密登录192.168.122.1

a、保证当前登陆ip为192.168.122.1，如果192.168.122.1不是本机则需要远程登陆

#ssh root@192.168.122.1

b、创建公钥和私钥

#ssh-keygen(一直回车,直到这条命令结束)

c、查看隐藏文件

# ll -a

#cd .ssh

# ll

d、复制公钥

#ssh-copy-id root@192.168.122.1

e、测试

ssh root@192.168.122.1

7、安装hadoop

a、解压下载的hadoop包

#tar -zxvf hadoop-2.7.3.tar.gz

b、配环境变量vim /etc/profile

export HADOOP_HOME=/opt/hadoop-2.7.3

export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

8、修改配置文件(标黄部分需要按照自己的情况修改)

a、hadoop-env.sh 

   export JAVA_HOME=(你的JDK安装路径)

 b、core-site.xml 

 <configuration> 

     <property> 

       <name>fs.default.name</name> 

       <value>hdfs://主机名:9000</value> 

    </property> 

     <property> 

        <name>hadoop.tmp.dir</name> 

        <value>/opt/hadoop/data</value> 

    </property> 

</configuration> 

 c、hdfs-site.xml 

 <configuration> 

     <property> 

        <name>dfs.replication</name> 

        <value>1</value> 

    </property> 

</configuration> 

 d、mapred-site.xml--->需要将 mapred-site.xml.template复制，命名为mapred-site.xml

<configuration> 

  <property> 

    <name>mapreduce.framework.name</name> 

    <value>yarn</value> 

  </property> 

</configuration> 

 e、yarn-site.xml 

<configuration> 

  <property>

    <name>yarn.resourcemanager.hostname</name> 

    <value>主机名</value> 

  </property> 

 <property> 

        <name>yarn.nodemanager.aux-services</name> 

        <value>mapreduce_shuffle</value> 

    </property> 

</configuration>

9、启动

hadoop namenode -format  -------格式化namenode

start-all.sh   启动hdfs

浏览器输入   localhost:50070    ----网页查看

终端输入jps，会有如下服务（5个，少任意一个就是启动失败）

2403  DataNode 

2725  ResourceManager

2821 NodeManager

2311  NameNode

2527  SecondaryNameNode

总结起来，hadoop的单节点安装需要做的事情：

静态ip；hostname；主机映射；关防火墙；

装JDK；免密登陆；解压tar包；修改配置文件

TroubleShooting

1.namenode起不来：namenode.tmp.dir不存在或无访问权限

    把之前配的那个文件夹删了，然后再把配置文件换一个有权限的文件夹，之后再格式化namenode就可以了。

2.yarn web端8088他访问不了：

    使用netstatu 查看8088被哪个网段占用了，然后是使用这个网段来查看。

3.多次执行 Hadoop 格式化，DataNode 启动失败

    每次 namenode format 会重新创建一个 namenodeId,而 dfs.data.dir 参数配置的目 录中包含的是上次 format 创建的 id,和 dfs.name.dir 参数配置的目录中的 id 不一致。 namenode format 清空了 namenode 下的数据,但是没有清空 datanode 下的数据,导致启动时 失败,所要做的就是每次 fotmat 前,清空dfs.data.dir 参数配置的目录。重新格式化 HDFS 的命令。 如果真的需要重新格式化， 一定要在格式化前， 删除 data 目录下的数据。 否则， NameNode
节点和 DataNode 节点的版本会出现不一致，造成 DataNode 启动失败。

4.jps命令没有namenode运行

    一个可能原因是tmp文件，默认的tmp文件每次重新开机会被清空，与此同时namenode的格式化信息就会丢失，于是我们得重新配置一个tmp文件目录。在core-site.xml文件时，不要将 hadoop.tmp.dir设置在/tmp下，而是改成一个电脑重启不会清空的路径，然后重新格式化hdfs。

5.进程号
            利用jps命令查看当前运行的hadoop进程时，和hadoop相关的一系列进程datanode、namenode和SecondaryNameNode的进程号也是非常接近的，不会出现上千的差异。如果发现它们的进程号差异过大，则往往会出错，这时可以通过重启解决问题。如果多次重启某些进程依旧没有改变，还可以利用kill -9命令强制杀死进程，然后再重启。

6.遇到问题，首先检查ip、hostname是否正确，防火墙关没关！！！

最后

以上就是清新冷风为你收集整理的hadoop单节点安装的全部内容，希望文章能够帮你解决hadoop单节点安装所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。