hadoop学习之ubuntu下hadoop0.20.2安装

100 阅读 0 评论 66 点赞

我是靠谱客的博主自然盼望，最近开发中收集的这篇文章主要介绍hadoop学习之ubuntu下hadoop0.20.2安装，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

耶稣爱你！

小弟才疏学浅，今年刚刚大四，下年开始读研究生，以后可能要主要学习云计算。于是打算提前的学习一下当下热门的云计算技术。之前小弟一直在学校实验室做一些j2ee方向的开发，所以选择hadoop开始学习。闲话少说，简单介绍一下自己在ubuntu下安装hadoop的方法。

一、ubunt安装

出于自己刚刚接触hadoop，并不太熟悉hadoop，所以自己在Vmware上安装了ubuntu 12.04。

二、java环境配置

在hadoop wiki中写到Hadoop requires Java 1.6+. It is built and tested on Oracle (nee Sun) Java, which is the only "supported" JVM. 为防止由于软件间的不兼容性问题我选择安装了1.6.0_21。

1、新建jdk6文件夹

dashuai@dashuai-virtual-machine:~/soft$ mkdir jdk6

2、安装 jdk-6u21-linux-i586.bin

dashuai@dashuai-virtual-machine:~/soft$ sudo chmod +x ./jdk6/jdk-6u21-linux-i586.bin (增加执行属性)

dashuai@dashuai-virtual-machine:~/soft$ ./jdk6/jdk-6u21-linux-i586.bin (运行)

3、配置环境变量

dashuai@dashuai-virtual-machine:~/soft$ vi /etc/profile

在最后一行依次添加

      export JAVA_HOME=/home/dashuai/soft/jdk6/jdk1.6.0_21
      export JRE_HOME=$JAVA_HOME/jre
      export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
      export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

4、重启terminal

检验是否安装成功

dashuai@dashuai-virtual-machine:~$ java -version

      若输出如下信息则安装成功
      java version "1.6.0_21"
     Java(TM) SE Runtime Environment (build 1.6.0_21-b07)
     Java HotSpot(TM) Client VM (build 17.0-b17, mixed mode, sharing)

三、配置ubuntu ssh免密码登录

我电脑之前已经配置过，此处不在叙述可参考http://blog.sina.com.cn/s/blog_76fbd24d01017je7.html

四、hadoop安装

1、下载hadoop 0.20.2版 http://archive.apache.org/dist/hadoop/core/hadoop-0.20.2/hadoop-0.20.2.tar.gz

2、安装hadoop 0.20.2

dashuai@dashuai-virtual-machine:~/soft$ mkdir hadoop

dashuai@dashuai-virtual-machine:~/soft/hadoop$ tar -xzvf hadoop-0.20.2.tar.gz

3、配置hadoop

依次修改下列文件

conf/core-site.xml:
<configuration>
<property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
</property>
</configuration>

conf/hdfs-site.xml:
<configuration>
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
</configuration>

conf/mapred-site.xml:
<configuration>
<property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
</property>
</configuration>