1. 首页
  2. 文章中心
  3. 非阻塞io

Hadoop心跳机制源码分析

100 阅读 0 评论
我是靠谱客的博主 孝顺仙人掌，最近开发中收集的这篇文章主要介绍Hadoop心跳机制源码分析，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

Hadoop心跳机制源码分析 前言：


正文： 一．体系背景 二．心跳机制 三．Datanode、Namenode心跳源码分析


Java代码  
  1. /** 
  2.    * 循环调用“发送心跳”方法，直到shutdown 
  3.    * 调用远程Namenode的方法 
  4.    */  
  5.   public void offerService() throws Exception {  
  6. •••  
  7.     while (shouldRun) {  
  8.       try {  
  9.         long startTime = now();  
  10.          // heartBeatInterval是在启动Datanode时根据配置文件设置的，是心跳间隔时间  
  11.         if (startTime - lastHeartbeat > heartBeatInterval) {  
  12.           lastHeartbeat = startTime;  
  13. //Datanode发送心跳  
  14.           DatanodeCommand[] cmds = namenode.sendHeartbeat(dnRegistration,  
  15.                                                        data.getCapacity(),  
  16.                                                        data.getDfsUsed(),  
  17.                                                        data.getRemaining(),  
  18.                                                        xmitsInProgress.get(),  
  19.                                                        getXceiverCount());  
  20.           myMetrics.addHeartBeat(now() - startTime);  
  21.            
  22.           if (!processCommand(cmds))  
  23.             continue;  
  24.         }  
  25.          
  26.       •••  
  27.       }  
  28.     } // while (shouldRun)  
  29.   } // offerService  

 

需要注意的是：发送心跳的对象并不是datanode，而是一个名为namenode的对象，难道在datanode端就直接有个namenode的引用吗？其实不然，我们来看看这个namenode吧：

Java代码  
  1. public DatanodeProtocol namenode = null;  

 

namenode其实是一个DatanodeProtocol的引用，在对 hadoop RPC机制分析的文章中我提到过，这是一个Datanode和Namenode通信的协议，其中有许多未实现的接口方法，sendHeartbeat() 就是其中的一个。下面看看这个namenode对象是怎么被实例化的吧：

Java代码  
  1. this.namenode = (DatanodeProtocol)   
  2.     RPC.waitForProxy(DatanodeProtocol.class,  
  3.                      DatanodeProtocol.versionID,  
  4.                      nameNodeAddr,   
  5.                      conf);  

 

其实这个namenode并不是Namenode的一个对象，而只是一个Datanode端对Namenode的代理对象，正是这个代理完成了“心跳”。代理的底层实现就是RPC机制了。参考博客：http://weixiaolu.iteye.com/blog/1504898 。四．Tasktracker、Jobtracker心跳源码分析


Java代码  
  1. 代码一：  
  2. State offerService() throws Exception {  
  3.     long lastHeartbeat = System.currentTimeMillis();  
  4.     while (running && !shuttingDown) {  
  5.      •••  
  6.           
  7.         // 发送心跳，调用代码二  
  8.         HeartbeatResponse heartbeatResponse = transmitHeartBeat(now);  
  9.   
  10.       •••  
  11.     return State.NORMAL;  
  12.   }  
  13.   
  14. 代码二：  
  15. HeartbeatResponse transmitHeartBeat(long now) throws IOException {  
  16.    •••  
  17.     HeartbeatResponse heartbeatResponse = jobClient.heartbeat(status,   
  18.                                                               justStarted,  
  19.                                                               justInited,  
  20.                                                               askForNewTask,   
  21.                                                          heartbeatResponseId);                                
  22. •••  
  23.     return heartbeatResponse;  
  24.   }  

 

其实我觉得分析到这里大家就可以自己分析了，jobClient也是一个协议：

Java代码  
  1. InterTrackerProtocol jobClient;  

 

该协议用于定义Tasktracker和Jobtracker的通信。同样，它也是一个代理对象：

 

代码六：

Java代码  
  1. this.jobClient = (InterTrackerProtocol)   
  2.  UserGroupInformation.getLoginUser().doAs(  
  3.      new PrivilegedExceptionAction<Object>() {  
  4.    public Object run() throws IOException {  
  5.      return RPC.waitForProxy(InterTrackerProtocol.class,  
  6.          InterTrackerProtocol.versionID,  
  7.          jobTrackAddr, fConf);  
  8.    }  
  9.  });  

 

代理的底层实现也是RPC机制。参考博客：http://weixiaolu.iteye.com/blog/1504898 。

 http://weixiaolu.iteye.com/blog/1544860

最后

以上就是孝顺仙人掌为你收集整理的Hadoop心跳机制源码分析的全部内容，希望文章能够帮你解决Hadoop心跳机制源码分析所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
点赞(66)

相关文章

使用“带外数据”实现TCP心跳包 使用“带外数据”实现TCP心跳包
使用“带外数据”实现TCP心跳包 使用“带外数据”实现TCP心跳包
android 心跳 简书,如何高效维持网络长连接：手把手教你实现 自适应的心跳保活机制...
android 心跳 简书,如何高效维持网络长连接：手把手教你实现 自适应的心跳保活机制...
Hadoop中的心跳机制 NameNode与DataNode之间的心跳 JobTracker与TaskTracker之间的心跳
Hadoop中的心跳机制 NameNode与DataNode之间的心跳 JobTracker与TaskTracker之间的心跳
通信协议格式pomelo packagepomelo message总结
通信协议格式pomelo packagepomelo message总结
Hadoop心跳机制源码分析
Hadoop心跳机制源码分析
信号建模-呼吸心跳信号检测方法（三）系列文章目录前言一、雷达回波复基带信号模型二、人体体表微动信号模型三、实际数据的人体微动信号提取总结
信号建模-呼吸心跳信号检测方法（三）系列文章目录前言一、雷达回波复基带信号模型二、人体体表微动信号模型三、实际数据的人体微动信号提取总结
Xilinx原语ODDR的使用
Xilinx原语ODDR的使用
基于Altera FPGA的千兆以太网实现方案
基于Altera FPGA的千兆以太网实现方案

评论列表共有 0 条评论

立即
投稿
返回
顶部