Hadoop单节点搭建

伪分布式 （single node setup）=单节点搭建Hadoop

---------------------------

1，修改/etc/sysconfig/network    把localhost修改为node1

HOSTNAME=node1

2，重启 reboot 或者 shutdown -r 0

3，关闭防火墙 service iptables stop

4，安装jdk、配置环境变量，测试。

5，安装Hadoop2.6.5 tar-zxvf had... -C /opt/

had...是指文件的全称

6，配置hadoop环境变量

vi /etc/profile 进入环境变量配置文件

添加以下内容

export HADOOP_PREFIX=/opt/hadoop-2.6.5

export PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin

7，一定source一下profile文件，让文件生效

source /etc/profile

8, 修改/etc/hosts文件，在里面添加

192.168.x.x    node1(写centos6的地址)

9，免秘钥配置

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

10，配置Hadoop环境文件，

cd /opt/hadoop-2.6.5/etc/hadoop/

一定要切换到这个目录下，再配置下面的几个文件

一定要切换到这个目录下，再配置下面的几个文件

一定要切换到这个目录下，再配置下面的几个文件

vi hadoop-env.sh

修改为自己安装的JDK，注意是修改不是添加

export JAVA_HOME=/usr/java/jdk7（此处需添加自己的jak路径）

11，配置core-site.xml

vi core-site.xml  进入配置

在<configuration>与</configuration>之间添加：

<property>

        <name>fs.defaultFS</name>

        <value>hdfs://node1:9000</value>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/var/hadoop/local</value>

</property>

12,配置hdfs-site.xml

vi hdfs-site.xml 进入配置

在</configuration>与</configuration>添加：

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>node1:50090</value>

</property>

同上图所述

13，配置slaves文件

vi slaves 进入slaves文件

写入node1

14，格式化hdfs

hdfs namenode -format  (只能格式化一次，再次启动集群不要执行）

此处可能会报错，如果报错了，需要查看哪一块有问题

15，启动集群

start-dfs.sh

16，查看进程

角色进程查看：jps

如果输入jps命令查看有下面这几个节点就是对的，数字可能不一样的，但是字母都一样

1647 DataNode

2192 Jps

1754 SecondaryNameNode

1570 NameNode

17，在windows 的浏览器中输入http://192.168.x.x:50070

如果出现页面就证明成功了，记住默认端口为50070

最后看到这一步就成功了

最后

以上就是发嗲灯泡为你收集整理的Hadoop单节点搭建的全部内容，希望文章能够帮你解决Hadoop单节点搭建所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。