网络配置

1、利用Virtualbox虚拟机建立3台虚拟机，安装ubuntu18.04，见下图

2、进入ubuntu系统，对主机进行重命名。“Vim /etc/hostname”
将3台虚拟机的名字分别改为“ubuntu-master”、“ubuntu-slave1”、“ubuntu-slave2”。
3、配置hosts文件，填入虚拟机的ip地址及机器名称
Vim /etc/hosts

配置ssh免密码连入

1、每个结点分别产生公私密钥。进入在用户主目录下的.ssh目录中，生成公私密钥，id_dsa.pub为公钥，id_dsa为私钥，紧接着将公钥文件复制成authorized_keys文件。见下图

用上述同样的方法在剩下的两个结点中如法炮制即可。
2、单机回环ssh免密码登录测试
即在单机结点上用ssh进行登录，看能否登录成功。登录成功后注销退出，过程如下：

如上图所示有以上信息表示操作成功，单点回环SSH登录及注销成功，这将为后续跨子结点SSH远程免密码登录作好准备。
用上述同样的方法在剩下的两个结点中如法炮制即可。
3、让主结点(master)能通过SSH免密码登录两个子结点（slave）
为了实现这个功能，两个slave结点的公钥文件中必须要包含主结点的公钥信息，这样
当master就可以顺利安全地访问这两个slave结点了。操作过程如下：

如上过程显示了node1结点通过scp命令远程登录master结点，并复制master的公钥文件到当前的目录下，这一过程需要密码验证。接着，将master结点的公钥文件追加至authorized_keys文件中，通过这步操作，如果不出问题，master结点就可以通过ssh远程免密码连接node1结点了。在master结点中操作如下：

由上图可以看出，node1结点首次连接时需要，“YES”确认连接，这意味着master结点连接node1结点时需要人工询问，无法自动连接，输入yes后成功接入，紧接着注销退出至master结点。要实现ssh免密码连接至其它结点，还差一步，只需要再执行一遍ssh node1，如果没有要求你输入”yes”，就算成功了，过程如下：

如上图所示，master已经可以通过ssh免密码登录至node1结点了。
对node2结点也可以用同样的方法进行，如下图：Node2结点复制master结点中的公钥文件

至此，SSH免密码登录已经配置成功。

下载并解压hadoop安装包

1、解压hadoop压缩包到/usr/local

2、将文件的拥有者改为lgy

3、在shell路径里添加hadoop执行程序所在目录

下载java

我把java放在/usr/lib/jvm

在shell路径里添加java路径配置

配置hadoop

1.不同模式的关键匹配属性

独立模式不需要进行单独设置。

2.伪分布模式

1、hadoop目录下etc/hadoop/下进行配置

• core-site.xml
  
• hdfs-site.xml
  
• mapred-site.xml
  
• yarn-site.xml
  
  2、hadoop运行测试
• 启动hadoop
  
• 页面查看运行情况
  - 停止hadoop
  

3.全分布模式

1、hadoop目录下etc/hadoop/下进行配置

• core-site.xml
  
• hdfs-site.xml
  
• mapred-site.xml
  
• yarn-site.xml
  
• workers
  
• hadoop-env.sh
  
  Hadoop目录下sbin/下进行配置
  start-yarn.sh stop-yarn.sh
  
  start-dfs.sh stop-dfs.sh
  

从机参照主机配置。

格式化namenode

在主节点执行

启动hadoop

• 通过jps可以查看各机器启动的hadoop服务
  
  
  
• 通过网页ubuntu-master:8088可以查看集群运行状态
  

执行计算任务

最后

以上就是甜甜小懒猪为你收集整理的ubuntu18.04搭建hadoop3.2.1网络配置配置ssh免密码连入下载并解压hadoop安装包下载java配置hadoop格式化namenode启动hadoop执行计算任务的全部内容，希望文章能够帮你解决ubuntu18.04搭建hadoop3.2.1网络配置配置ssh免密码连入下载并解压hadoop安装包下载java配置hadoop格式化namenode启动hadoop执行计算任务所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。