【Hadoop】图解Hadoop架构

71 阅读 0 评论 47 点赞

我是靠谱客的博主丰富老师，最近开发中收集的这篇文章主要介绍【Hadoop】图解Hadoop架构，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

这是针对目前测试环境中Hadoop集群架构的一个简单的总结，下图用图来简单表现:

关于HBase与ZooKeeper，可以分三点来描述:

一、Zookeeper集群的职责
1、负责监控整个hbase集群中节点的状态和通信。
2、管理hbase 集群的-ROOT-表，即所有HRegion Server的地址和HTable信息。
3、避免HMsater的单点故障问题(重启故障的HMaster；如果zkLeader挂掉，重新选举出leader)。

二、HMaster Server的职责
1、为HRegion server分配HRegion，并持续均衡负载；
2、当有HRegion server失效时，由HMaster负责重新分配其上的HRegion。

三、HRegion Server的职责
1、维护HMaster分配的HRegin，响应客户端的请求(增删改查)。
2、管理.META.表数据，该表中包含当前HRegion Server上HRegion的相关信息。
3、负责region的切分，并将相关region切分信息更新到.META.表中。