概述
hadoop集群也是主从集群
其中对于hdfs集群 namenode主 datanode从 SecondaryNameNode(注意不是主的备份 是主的“秘书”)
yarn集群 resourcemanager主 nodemanager从
所谓的集群角色规划 指定的根据集群的硬件环境和分布式软件当中各个角色的特性来合理分配角色所在的机器
注意:同吃内存的角色尽量不要在一台机器上
对于hadoop来说:
nodemanager常常跟datanode在一起:有数据在的地方就有计算 避免了数据网络传输
node-1: namenode datanode ResourceManager NodeManager
node-2 datanode SecondaryNameNode NodeManager
node-3 datanode NodeManager
.....
规划好之后 还有通过配置文件体现你的规划思想
一般来说 针对主从集群 只配置 主角色所在的机器到各个从角色所在的机器 之间的免密登录
最后
以上就是迷路黑夜为你收集整理的Hadoop集群简易图解的全部内容,希望文章能够帮你解决Hadoop集群简易图解所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
发表评论 取消回复