ubuntu 快速安装Hadoop（ubuntu16.04.4 server 版本）（三部曲之一）

92 阅读 0 评论 61 点赞

我是靠谱客的博主清爽向日葵，最近开发中收集的这篇文章主要介绍ubuntu 快速安装Hadoop（ubuntu16.04.4 server 版本）（三部曲之一），觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

简介：这个就是为了准备让所有的机器都可以跑大数据全部项目，做的最底层的基础软件环境的准备。本操作中全部配置文件，均可参考！注意仅做参考，需要自己根据自己情况进行调整。

（一）基础环境准备
1 创建root 账户
2 静态IP准备
3 openssh-server 准备，及root 登录准备
4 hosts 文件准备
5 hostname 主机名修改准备
6 关闭[卸载]防火墙
7 关闭[卸载]SElinux 准备
8 SSH免密登录准备
9 ntp 时间同步准备

第一步：创建root 账户
为什么要创建？
首先当ubuntu16.04 安装完成后，默认可以登录的用户名不是root用户，因为后续我们要操作的很多东西都需要root用户的权限，避免后面的尴尬，在这个位置，就直接更改为root用户。
怎么修改？
1.非root用户登录。使用你在安装过程中创建的用户名及密码登录，如笔者创建的用户名：jingshan 密码 123456。首先登录今日到操作系统。
如图：
在这里插入图片描述
登录成功后，显示如下画面：

2.为root账户设置密码。
为root账户设置密码，其实就是为了激活root帐号，后续可以切换到root账户做准备。
操作命令：sudo passwd root
操作效果如下：

在这个操作过程中需要输入三次密码，其中第一次是你当前登录账户的密码，在我这个设置里面就是123456,然后就是你要为root帐号设置的密码的输入，后面两次，两次输入是为了保证密码的正确性的。
3.第三步：切换为root账户执行。
操作命令：su root
操作效果如下：
在这里插入图片描述

第二步：静态IP准备
为什么要设置？
因为在CM及大型的集群架构中只有静态IP才能确保连接数据的正确性，那么就需要至少每台电脑有一个内网的静态IP.
默认的ubuntu16.04 给到的配置是DHCP，也就是动态配置的。每次开机，需要重新分配地址，虽然默认如果上次的地址还在的话，会优先分配上一次的地址，但是一旦有新机器加入，就会打乱之前的配置情况，造成混乱。
怎么解决？
1.首先查看一下当前的IP情况。
命令：ifconfig
效果：
在这里插入图片描述
说明：这里你会发现默认有两个网卡设置，其中一个是lo,也就是我们本地的回环网卡，说简单一点就是127.0.0.1生效的网卡。
第二个网卡ens33,这个网卡的名字在不同的版本的服务器上面可能不太一样，如果多网卡的暂时先不讨论。
通过上面的命令可以看见我这个机器当前的网络地址是 192.168.77.130 这样的内网IP地址。这个是因为我用的VMare9 虚拟工具，利用NAT模式进行的网络连接的设置。

2.连接外网，查看网络连通情况
命令：ping www.baidu.com
效果：
在这里插入图片描述
情况说明：其中通过ping 命令可查看连接完成正常，当然你主机是要可以连接外网的哦！

3.更新IP方式
命令：nano /etc/network/interfaces
默认打开的样式：
在这里插入图片描述
修改为如下配置：
因为我们仅仅操作的是ens33这个网卡，所以我们仅仅需要修改这个网卡就可以了。具体的配置方案很多，我们推荐的方式如下：

auto ens33
iface ens33 inet static
address 192.168.237.105
netmask 255.255.255.0
gateway 192.168.237.2
dns-nameserver 119.29.29.29

修改说明：
auto ens33 这行不做任何改变
iface ens33 inet dhcp =====>更改为 iface ens33 inet static 。// 其实就是改dhcp 为 static然后下面添加静态IP地址[address],子网掩码[netmask],网关[gateway],dns服务器[dns-nameserver]进行设置。
其中，静态IP地址建议复合当前网卡的地址段设置。我当前网卡的网段为192.168.77.1~255,这样就可以设置静态地址为：192.168.77.200。就可以了。
子网掩码一般设置为255.255.255.0即可。
网关需要查看你网卡配置的网关地址，一般情况就是默认网段的第一位，或者第二位。实际的地址就是192.168.77.1 或者 192.168.77.2 ,如果你是通过虚拟工具实现的这个产品，那么你的网关多数应该为 192.168.77.2这个地址。
DNS地址配置：这里你可以选择自己的DNS服务器，或者上网查找各种公开的DNS服务器都可以。推荐一个腾讯的DNS地址。119.29.29.29
修改完成效果如下：
在这里插入图片描述
保存文件，然后退出nano即可。

4.重启服务
命令：/etc/init.d/networking restart 或者使用 service networking restart
效果：
在这里插入图片描述
重启完成之后，通过ifconfig查看，如果ip地址没有更新，需要执行强制更新，或者重新启动计算机即可。
调整完成后的IP地址效果如下：

5.检测网络连通性
命令：ping www.baidu.com
效果：

静态IP配置完成，成功。

第三步： openssh-server 准备，及root 登录准备
为什么？
截至到目前位置我们都是通过虚拟机工具，也就是VM工具直接操作电脑，相当于电脑就在我们身边。其实在我们生产环境中，我们的电脑大部分是放在了未知的机房里面，我们我们都会通过ssh协议进行远程登录操作，常用的ssh命令行工具有xshell,putty,secureCRT等，每一个都有自己的优缺点，我们这里推荐大家使用xshell进行远程连接。
但是进行远程连接就需要远端的服务有一个配合程序，或者叫做守护进程，这个进程就是sshd守护进程，随时监听你的ssh请求，默认的端口是22.
怎么做？
1.安装openssh-server服务。
修改安装源
命令：nano /etc/apt/sources.list
在这里插入图片描述
将没有注释的文件全部替换成mirrors.aliyun.com的结果如上图所示；
替换后执行命令apt-get update
执行下面的安装前,如果出现安装失败，先删除已经安装的apt,
rm /var/lib/apt/lists/* -rf
命令：apt-get install openssh-server
效果：
在这里插入图片描述
执行完成完成。

2.查看启动状态
命令：ps -aux | grep sshd
效果：
在这里插入图片描述

3.设置root远程登录允许
命令：nano /etc/ssh/sshd_config
效果：
在这里插入图片描述
进行编辑，将其中的 PermitRootLogin prohibit-password 改成 PermitRootLogin yes即可。
效果如下图：

修改完成后，重启服务。
命令如下：service sshd restart

4.通过xshell 远程登录，管理计算机。
配置连接用户名及密码与 IP地址即可。

第四步：文件准备
为什么？
首先本地hosts文件是为了方便域名与内网静态IP地址的对应关系而建立，使用hosts文件进行管理，将会让集群变的更加方便
怎么做？
1.编辑hosts文件。
命令如下：nano /etc/hosts
默认效果如下：
在这里插入图片描述
上面的127.0.0.1分别对应localhost 于ubuntu 是在IPV4 的解析模式下，下面的 ::1 及以下部分是对应的是IPv6的解析方式。我们这里因为是为了为大数据做准备所以将
Ubuntu 修改为> hadoop001
127.0.0.1 修改为> 192.168.246.100[本机IP地址]
修改后的效果为：
192.168.246.100 hadoop001
如果需要新增其它对应位置的解析如：192.168.246.102 hadoop002
修改效果如下：
在这里插入图片描述
值此hosts配置文件完成，当然如果后续更多的机器需要更好的配置，请重复上述步骤。
通过 ping hadoop001 命令，可以检测刚刚的配置是否正常是用。效果如下图：

连接成功，Hosts文件配置成功。

第五步：hostname主机名修改准备
为什么？
如果本地自己仅仅一台linux服务器，hostname主机名，好像作用不是特别的明显，但是如果整个这台服务器是整个服务器网络一部分，并且部分应用是通过主机名进行连接操作的，这样的情况下主机名就变得非常重要。
怎么做？
1.编辑文件：
命令nano /etc/hostname
默认效果如下：
在这里插入图片描述
这个ubuntu 是在安装Linux镜像的时候自动配置的，这里需要修改成为刚刚对应hosts文件里面的那个hadoop001,注意：不一定非要修改，是为了保证一致性。
修改效果如下：

退出保存，然后通过hostname命令查看当前主机名，需要重启。

第六步：关闭[卸载]防火墙
为什么？
防火墙在配置不清晰的情况下，有的时候会阻碍应用直接的连接，当关闭防火墙之后，如果机器重新启动，如果设置不合理，会再次启动防护墙，为了在教学过程中，操作起来比较容易，建议直接卸载防火墙。
怎么做？
1.执行如下命令：apt-get remove iptables
在这里插入图片描述
卸载完成后，可以通过iptables -L的方式执行一下防火墙命令，如果发现不可执行，证明卸载完成。

第七步：关闭[卸载]SElinux 准备
为什么？
SElinux 当初是美国国家安全局对于强制访问控制的实现，是Linux历史上最杰出的新安全子系统。为了防止相关软件无法正常使用，可以卸载掉SElinux系统。
怎么做？
1.apt-get remove selinux
但是值得注意的是我们的演示操作linux系统是ubuntu16 没有安装上相关服务，所以无需卸载。
在这里插入图片描述

第八步：SSH免密登录准备
为什么？
为了方便分布式数据之间自动通信进行的设置。
怎么做？
1.生成密钥文件
命令：ssh-keygen -t rsa
效果如下：注意需要一路回车，然后向下。
在这里插入图片描述
看到上述情况，证明密钥创建成功。

2.生成免密验证文件authorized_keys
操作命令：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
其目的就是为了设置免密登录验证文件
在这里插入图片描述
效果如上图：
3.复制相关免密登录配置文件到其它机器，如hadoop002,hadoop003等机器。注意，其它机器同hadoop001 的配置。
命令如下：
scp -r /root/.ssh root@hadoop002:/root/
scp -r /root/.ssh root@hadoop003:/root/

如果可以进行复制：效果如下图：
在这里插入图片描述
可以采取下面命令进行验证操作是否成功：
ssh root@hadoop001
exit

证明登录成功。

第九步：ntp 时间同步准备
为什么？
因为作为分布式存储系统，相同的时间戳非常的重要，所以需要ntp进行同步配置，一般情况下，主机同步互联网时间，其它从属服务器同步主机时间。
怎么做？
1.安装时间同步软件ntp
操作命令：apt-get install ntp
效果如下：
在这里插入图片描述
2.修改配置文件
命令如下：nano /etc/ntp.conf
默认效果图如下：

修改后的代码如下：无注释信息

driftfile /var/lib/ntp/ntp.drift
statistics loopstats peerstats clockstats
filegen loopstats file loopstats type day enable
filegen peerstats file peerstats type day enable
filegen clockstats file clockstats type day enable
server 2.cn.pool.ntp.org
server 1.asia.pool.ntp.org
server 2.asia.pool.ntp.org
server 127.0.0.1
restrict -4 default kod notrap nomodify nopeer noquery limited
restrict -6 default kod notrap nomodify nopeer noquery limited
restrict 127.0.0.1
restrict ::1
restrict source notrap nomodify noquery

在这里插入图片描述
相对变化的就是删除了所有的注释，然后吧pool更新为server 名字，其它的更换的服务器地址而已。