我是靠谱客的博主 激昂日记本,最近开发中收集的这篇文章主要介绍http://blog.itpub.net/28929558/viewspace-1473102,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

2019独角兽企业重金招聘Python工程师标准>>> hot3.png



备注:NameNode HA : NameNode高可用 , HDFS Fedreation 分布式文件系统联盟 解决了1带的单点问题

         Yarm 分布式资源管理系统,解决JobTrack单点问题
        


1. hadoop 1.x 版本的生态系统:


2. hadoop 2.x版本的生态系统:



对于分布式系统和框架的架构来说,一般分为两部分:

第一部分:管理层(用于管理应用层)
第二部分:应用层 (工作的)


对于HDFS,分布式文件系统:

    NameNode:    属于管理层,用于管理数据的存储
    
    SecondNameNode:也属于管理层,用于辅助管理数据的存储

    DateNode:属于 应用层 ,用户进行数据存储,被NameNode管理,定时向NameNode进行工作汇报,执行NameNode分配分发的任务


对于MapReduce,分布式计算框架:

    JobTrack : 属于管理层,用于管理集群的资源,对集群的任务资源进行调度,并监控任务的执行。

    TaskTrack: 属于应用层,用于执行JobTrack分配分发的任务,并向JobTrack汇报执行情况。


对于hadoop 二代版本的yarm系统:
    NodeManager :属于管理层,节点管理
    
    ResourceManager:属于管理层, 资源管理

    DataNode:属于应用层,被 NodeManager  和  ResourceManager管理,执行任务。

转载于:https://my.oschina.net/zhangjie830621/blog/392079

最后

以上就是激昂日记本为你收集整理的http://blog.itpub.net/28929558/viewspace-1473102的全部内容,希望文章能够帮你解决http://blog.itpub.net/28929558/viewspace-1473102所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(48)

评论列表共有 0 条评论

立即
投稿
返回
顶部