概述
Hadoop ApplcaitionMaster::
- 目录
- 概述
- 小结:
- 参考资料和推荐阅读
LD is tigger forever,CG are not brothers forever, throw the pot and shine forever.
Modesty is not false, solid is not naive, treacherous but not deceitful, stay with good people, and stay away from poor people.
talk is cheap, show others the code,Keep progress,make a better result.
Survive during the day and develop at night。
目录
概述
Hadoop ApplcaitionMaster:
单个作业的资源管理和任务监控
具体功能描述:
1.计算的应用的资源需求,资源可以是静态的或动态计算的,静态的一般是clien申请时就指定了,动态则需要applicationmaster根据引用的运行状态来决定
2.根据谁来申请对应的位置资源(Data Locality)
3.向ResourceManager申请资源,与NodeManager进行程序的运行和监控,监控申请的资源的使用情况,监控作业进度
4.跟踪任务状态和进度,定时向ResourceManger发送心跳消息,报告资源的使用情况和应用的进度信息
5.负责本作业的任务的容错
APPlicationMaster可以使用任何的语言编写的程序,他和ReesourceManager 和NodeManager之间是通过ProtolBuf交互,以前时候一个全局的JobTracker负责的,现在每个作业都一个,可伸缩性更强,至少不会因为作业太多,造成JobTracker瓶颈。同时将作业的逻辑放到一个独立的ApplicationMaster中,使得灵活性更加高,每个作业都可以有自己的处理方式,不用绑定到MapReduce的处理模式上上。
如何计算资源需求:
一般的MapReduce是根据block数量来定Map和Reduce的计算数量,然后一般的Map或Reduce就占用一个Contianer
如何发现数据的本地化
数据本地化是通过HDFS的block分片信息获取的。
小结:
参考资料和推荐阅读
1.链接: 参考资料.
最后
以上就是大意火车为你收集整理的Hadoop ApplcaitionMaster:目录小结:参考资料和推荐阅读的全部内容,希望文章能够帮你解决Hadoop ApplcaitionMaster:目录小结:参考资料和推荐阅读所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
发表评论 取消回复