我是靠谱客的博主 激昂日记本,最近开发中收集的这篇文章主要介绍http://blog.itpub.net/28929558/viewspace-1473102,觉得挺不错的,现在分享给大家,希望可以做个参考。
概述
2019独角兽企业重金招聘Python工程师标准>>>
备注:NameNode HA : NameNode高可用 , HDFS Fedreation 分布式文件系统联盟 解决了1带的单点问题
Yarm 分布式资源管理系统,解决JobTrack单点问题
1. hadoop 1.x 版本的生态系统:
2. hadoop 2.x版本的生态系统:
对于分布式系统和框架的架构来说,一般分为两部分:
第一部分:管理层(用于管理应用层)
第二部分:应用层 (工作的)
对于HDFS,分布式文件系统:
NameNode: 属于管理层,用于管理数据的存储
SecondNameNode:也属于管理层,用于辅助管理数据的存储
DateNode:属于 应用层 ,用户进行数据存储,被NameNode管理,定时向NameNode进行工作汇报,执行NameNode分配分发的任务
对于MapReduce,分布式计算框架:
JobTrack : 属于管理层,用于管理集群的资源,对集群的任务资源进行调度,并监控任务的执行。
TaskTrack: 属于应用层,用于执行JobTrack分配分发的任务,并向JobTrack汇报执行情况。
对于hadoop 二代版本的yarm系统:
NodeManager :属于管理层,节点管理
ResourceManager:属于管理层, 资源管理
DataNode:属于应用层,被 NodeManager 和 ResourceManager管理,执行任务。
转载于:https://my.oschina.net/zhangjie830621/blog/392079
最后
以上就是激昂日记本为你收集整理的http://blog.itpub.net/28929558/viewspace-1473102的全部内容,希望文章能够帮你解决http://blog.itpub.net/28929558/viewspace-1473102所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复