Hadoop学习笔记_伪分布式搭建

140 阅读 0 评论 93 点赞

我是靠谱客的博主安静大门，这篇文章主要介绍Hadoop学习笔记_伪分布式搭建，现在分享给大家，希望可以做个参考。

0.使用host-only方式
将Windows上的虚拟网卡改成跟Linux上的网卡在同一网段
注意：一定要将widonws上的WMnet1的IP设置和你的虚拟机在同一网段，但是IP不能相同
1.Linux环境配置（windows下面的防火墙也要关闭）
1.1修改主机名
vim /etc/sysconfig/network
1.2修改IP
vim /etc/sysconfig/network-scripts/ifcfg-eth0

复制代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
    DEVICE="eth0"
    BOOTPROTO="static"   ###
    HWADDR="00:0C:29:BF:45:8B"
    IPV6INIT="yes"
    NM_CONTROLLED="yes"
    ONBOOT="yes"
    TYPE="Ethernet"
    UUID="99339c27-0884-46c0-85d5-2612e5c1f149"
    IPADDR="192.168.1.110"   ###
    NETMASK="255.255.255.0"  ###
    GATEWAY="192.192.1.1"    ###
1.3修改主机名和IP的映射关系
    vim /etc/hosts

    192.168.1.110 itcast
1.4关闭防火墙
    查看防护墙状态
    service iptables status

    关闭
    service iptables stop

    查看防火墙开机启动状态
    chkconfig iptables --list

    关闭开机启动
    chkconfig iptables off
1.5安装JDK
    上传JDK
    添加执行权限
    chmod u+x jdk-6u45-linux-i586.bin

    解压
    ./jdk-6u45-linux-i586.bin

    mkdir /usr/java
    mv jdk1.6.0_45/ /usr/java/

    将java添加到环境变量
    vim /etc/profile
    在文件的末尾添加如下内容

    export JAVA_HOME=/usr/java/jdk1.6.0_45
    export PATH=$PATH:$JAVA_HOME/bin

    刷新配置
    source /etc/profile

2.配置hadoop
2.1上传hadoop包

复制代码

1
2
3
4
5
6
7
2.2解压hadoop包
    首先在根目录创建一个cloud目录
    mkdir /cloud

    tar -zxvf hadoop-1.1.2.tar.gz -C /cloud/
2.3配置hadoop伪分布式（要修改4个文件）

通过sftp界面
第一个：hadoop-env.sh
vim hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.6.0_45

复制代码

第二个：core-site.xml
    vim core-site.xml

<configuration>
                
                <property>
                        <name>fs.default.name</name>
                        <value>hdfs://itcast:9000</value>
                </property>
                
                <property>
                        <name>hadoop.tmp.dir</name>
                        <value>/cloud/hadoop-1.1.2/tmp</value>
                </property>
        </configuration>

第三个：hdfs-site.xml
    vim hdfs-site.xml
        <configuration>
            
            <property>
                    <name>dfs.replication</name>
                    <value>1</value>
            </property>
        </configuration>

第四个：mapred-site.xml
        而mapred-site.xml此时为mapred-site.xml.template,需要修改名称
         mv mapred-site.xml.template mapred-site.xml

vim mapred-site.xml
        <configuration>
                
                <property>
                        <name>mapred.job.tracker</name>
                        <value>itcast:9001</value>
                </property>
        </configuration>

2.4将hadoop添加到环境变量
    vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.6.0_45
    export HADOOP_HOME=/cloud/hadoop-1.1.2
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

source /etc/profile

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
    第二个：core-site.xml
    vim core-site.xml

        <configuration>
                <!-- 指定HDFS的namenode的通信地址 -->
                <property>
                        <name>fs.default.name</name>
                        <value>hdfs://itcast:9000</value>
                </property>
                <!-- 指定hadoop运行时产生文件的存放目录 -->
                <property>
                        <name>hadoop.tmp.dir</name>
                        <value>/cloud/hadoop-1.1.2/tmp</value>
                </property>
        </configuration>

    第三个：hdfs-site.xml
    vim hdfs-site.xml
        <configuration>
            <!-- 配置HDFS副本的数量 -->
            <property>
                    <name>dfs.replication</name>
                    <value>1</value>
            </property>
        </configuration>

    第四个：mapred-site.xml
        而mapred-site.xml此时为mapred-site.xml.template,需要修改名称
         mv mapred-site.xml.template mapred-site.xml

    vim mapred-site.xml
        <configuration>
                <!-- 指定jobtracker地址 -->
                <property>
                        <name>mapred.job.tracker</name>
                        <value>itcast:9001</value>
                </property>
        </configuration>

2.4将hadoop添加到环境变量
    vim /etc/profile

    export JAVA_HOME=/usr/java/jdk1.6.0_45
    export HADOOP_HOME=/cloud/hadoop-1.1.2
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

    source /etc/profile

此处我的环境变量是：

复制代码

1
2
3
4
5
export JAVA_HOME=/home/next/app/jdk1.7.0_79
export HADOOP_HOME=/home/next/app/hadoop-2.4.1
export PATH="/home/next/app/jdk1.7.0_79/bin:$PATH"
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

复制代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
2.5格式化HDFS
    hadoop namenode -format

2.6启动hadoop
    start-all.sh

2.7验证集群是否启动成功
    jps(不包括jps应该有5个)
    NameNode
    SecondaryNameNode
    DataNode
    JobTracker
    TaskTracker
    还可以通过浏览器的方式验证
    http://192.168.1.110:50070 (hdfs管理界面)
    http://192.168.1.110:50030 (mr管理界面)

    在这个文件中添加linux主机名和IP的映射关系
    C:WindowsSystem32driversetc