概述
文章目录
- 说明
- 分享
- 集群构建
- 集群规划
- 角色划分
- 配置主机名、ip和主机名映射
- ssh免密
- 总结
说明
已 上篇 创建模型虚拟机为基础构建hadoop集群
分享
- 大数据博客列表
- 开发记录汇总
- 个人java工具库 项目https://gitee.com/wangzonghui/object-tool
- 包含json、string、集合、excel、zip压缩、pdf、bytes、http等多种工具,欢迎使用。
集群构建
集群规划
- vmware克隆模型服务器,克隆步骤参照 vmware虚拟机克隆 ,创建3台子服务器,主机名分别命名为:
hadoop102、hadoop103、hadoop104
,ip为:192.168.10.102、192.168.10.103、192.168.10.104
,服务器角色规划如下
角色划分
组件节点 | hadoop102 | hadoop103 | hadoop104 |
---|---|---|---|
HDFS | NameNode、DataNode | DataNode | SecondaryNameNode、DataNode |
Yarn | Nodemanager | ResourceManager NodeManager | NodeManager |
配置主机名、ip和主机名映射
-
需要分别配置三台服务器,这里已hadoop102为例。
- 修改ip,登录hadoop102编辑文件:
vi /etc/sysconfig/network-scripts/ifcfg-ens33
,更改属性IPADDR
ip值为192.168.10.102
- 修改主机名
vi /etc/hostname
,填入新主机名:hadoop102
- 修改ip,登录hadoop102编辑文件:
-
用以上方式分别设置三台虚拟机,通过控制台命令
hostname
和ifconfig
确认主机名和ip -
增加主机名映射,这样ssh其他服务器不用输入ip地址,通过主机名直接登陆,编辑文件
vi /etc/hosts
,新增如下内容:
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
ssh免密
- 设置 用户wang 在三台服务间登录免密,先配置hadoop102,目标hadoop102 ssh免密登录hadoop102、hadoop103、hadoop104
-
wang
用户登录hadoop102创建密匙,执行命令:ssh-keygen -t rsa
-
目录
~/.ssh/
下可看到生成的公私和私匙
-
复制公钥到hadoop102、hadoop103、hadoop104服务器,复制时需要输入密码,执行如下命令
#复制公匙到hadoop102 ssh-copy-id hadoop102 #复制公匙到hadoop103 ssh-copy-id hadoop103 #复制公匙到hadoop104 ssh-copy-id hadoop104
-
-
验证免密,分别
ssh
hadoop102、hadoop103、hadoop104确认是否需要密码 -
hadoop102 免密完成后,已 同样方式 完成hadoop103、hadoop104登录免密。
总结
- 必须确保完成三台虚拟机的网络配置、主机名、ssh免密,不能有遗漏,否则后面会出问题。
最后
以上就是可靠乌冬面为你收集整理的hadoop集群安装(二):克隆服务器集群并免密说明分享集群构建总结的全部内容,希望文章能够帮你解决hadoop集群安装(二):克隆服务器集群并免密说明分享集群构建总结所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复