ubuntu18.04搭建hadoop1 安装ssh环境2 安装并配置JDK3 hadoop安装包下载4 解压hadoop5 为当前用户设置权限6 配置hadoop7 修改配置文件8 测试启动

50 阅读 0 评论 33 点赞

我是靠谱客的博主可耐网络，最近开发中收集的这篇文章主要介绍ubuntu18.04搭建hadoop1 安装ssh环境2 安装并配置JDK3 hadoop安装包下载4 解压hadoop5 为当前用户设置权限6 配置hadoop7 修改配置文件8 测试启动，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

1 安装ssh环境

首先进入root权限

su

关闭防火墙

systemctl stop firewalld.service

开机不启动防火墙

systemctl disable firewalld.service

查看防火墙状态

ufw status

配置root用户远程连接
如果没有安装ssh-server,先安装：

apt-get install openssh-server

修改sshd_config

gedit /etc/ssh/sshd_config

找到

# Authentication:
LoginGraceTime 2m
PermitRootLogin without passwd
StrictModes yes

改成

# Authentication:
LoginGraceTime 120
PermitRootLogin yes
StrictModes yes

然后重启即可。
设置ssh localhost免密登录

ssh localhost
exit

输入密码进去后，然后退出来。
在进行了初次登陆后，会在当前家目录用户下有一个.ssh文件夹，进入该文件夹下：

cd ~/.ssh/

使用rsa算法生成密钥和公钥对

ssh-keygen -t rsa

在这里插入图片描述
运行后一路回车就行，其中第一个是要输入秘钥和公钥对的保存位置，默认是在：.ssh/id_rsa
然后把公钥加入到授权中：

cat ./id_rsa.pub >> ./authorized_keys

再次ssh localhost时就不用密码登录了。

2 安装并配置JDK

请看教程ubuntu18.04安装jdk

3 hadoop安装包下载

在apache官网找到并下载hadoop2.9.2安装包
在这里插入图片描述

4 解压hadoop

先在/usr/local/下创建一个hadoop文件夹，用来存放hadoop文件。
sudo mkdir /usr/local/hadoop
在这里插入图片描述
解压hadoop压缩包
tar -zxvf hadoop-2.9.2.tar.gz

解压完成后，移动hadoop-2.9.2文件到/usr/local/hadoop下:
mv -v hadoop-2.9.2 /usr/local/hadoop

5 为当前用户设置权限

sudo chown -R 当前用户名 ./hadoop

6 配置hadoop

为hadoop设置环境变量

sudo vi /etc/profile

在末尾添加

JAVA_HOME=/usr/local/java/jdk1.8.0_191
HADOOP_HOME=/usr/local/hadoop/hadoop-2.9.2
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/sbin:$PATH
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.9.2

别忘了写hadoop和jdk安装路径！！
添加好后，更新环境变量

source /etc/profile

检测hadoop

hadoop version

如果配置成功，将出现以下其内容:
在这里插入图片描述

7 修改配置文件

在路径/usr/local/hadoop/hadoop-2.9.2/etc/hadoop下有一个core-site.xml文件
在这里插入图片描述
在该文件中添加:

<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>

在这里插入图片描述
在相同路径下修改hdfs-site.xml文件，在该文件中添加:

<configuration>
	<property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

仍然在相同路径下修改hadoop-env.sh,添加:export JAVA_HOME=/usr/local/java/jdk1.8.0_191
在这里插入图片描述