我是靠谱客的博主 执着西牛,最近开发中收集的这篇文章主要介绍Ubuntu16.04下Hadoop3.1的安装与配置1. 下载压缩包2. 配置环境变量3. 配置Hadoop4.运行并测试,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

参考链接:Hadoop: Setting up a Single Node Cluster.

1. 下载压缩包

Hadoop环境需要安装java,若未安装见:java下载与安装

然后到官网下载对应的安装包,然后解压到本地目录下.

2. 配置环境变量

sudo gedit ~/.bashrc

然后设置环境变量(路径根据自己的设置)

export HADOOP_HOME=/usr/hadoop-3.1.0/
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

设置完成好使其生效:

source ~/.bashrc

3. 配置Hadoop

编辑以下文件:
文件在Hadoop文件夹“/etc/hadoop/”目录下
core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

hadoop-env.sh (设置java的路径)
找到JAVA_HOME行,如下图所示,根据自己的路径进行设置:
这里写图片描述

4.运行并测试

依次输入如下命令:

bin/hdfs namenode -format

sbin/start-dfs.sh

bin/hdfs dfs -mkdir /user

bin/hdfs dfs -mkdir /user/xxx

bin/hdfs dfs -mkdir input

bin/hdfs dfs -put etc/hadoop/*.xml input //将要处理的数据输入

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.0.jar grep input output 'dfs[a-z.]+'

bin/hdfs dfs -get output output//将输出提取到本地的output文件夹内

cat output/*

bin/hdfs dfs -cat output/*

sbin/stop-dfs.sh //结束

最后

以上就是执着西牛为你收集整理的Ubuntu16.04下Hadoop3.1的安装与配置1. 下载压缩包2. 配置环境变量3. 配置Hadoop4.运行并测试的全部内容,希望文章能够帮你解决Ubuntu16.04下Hadoop3.1的安装与配置1. 下载压缩包2. 配置环境变量3. 配置Hadoop4.运行并测试所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(81)

评论列表共有 0 条评论

立即
投稿
返回
顶部