`
逸情公子
  • 浏览: 899282 次
  • 性别: Icon_minigender_1
  • 来自: 长沙
社区版块
存档分类
最新评论

Hadoop心跳机制源码分析

阅读更多

                                                 Hadoop心跳机制源码分析
前言:



这些天遇到了一些感情方面的问题,着实比较痛苦。不过最终在亲人、朋友的开导下,我已度过了最艰难的那段时期。在这里我要谢谢我的爸爸,是你一直相信着我,支持着我,虽然我一年在家只能呆上一两个月,可我却一直能够感受到家的温暖;我要感谢马总,是你用切身的经历为我开导,是你告诉我该如何正确地对待。我要感谢亮仔,虽然你就是个小屁孩,但谢谢你喝醉了酒还要陪我回铁道,用几乎是孩子的话来安慰我。我要感谢汤帅,是你让我知道了,其实你的情况比我还糟糕(呵呵,开个玩笑)。还有信管院的那些美女程序媛们,我也要感谢你们,是你们让我看到了希望,你懂的。

突然发现,我已经很长时间没有写技术博客了,因为一直被各种各样的事情给耽搁着,以至于这篇文章到现在才发表出来。

正文:

一.体系背景

首先和大家说明一下:hadoop的心跳机制的底层是通过RPC机制实现的,这篇文章我只介绍心跳实现的代码,对于底层的具体实现,大家可以参考我的另几篇博客:

1. hadoop的RPC机制(参考:http://weixiaolu.iteye.com/blog/1504898
2. 动态代理(参考 :http://weixiaolu.iteye.com/blog/1477774
3. Java NIO(参考 :http://weixiaolu.iteye.com/blog/1479656

以上三篇文章和这篇文章完整地分析了hadoop的数据传输过程。大家可以当成一个体系来阅读。

二.心跳机制

1. hadoop集群是master/slave模式,master包括Namenode和Jobtracker,slave包括Datanode和Tasktracker。

2. master启动的时候,会开一个ipc server在那里,等待slave心跳。

3. slave启动时,会连接master,并每隔3秒钟主动向master发送一个“心跳”,这个时间可 以通过”heartbeat.recheck.interval”属性来设置。将自己的状态信息告诉master,然后master也是通过这个心跳的返回值,向slave节点传达指令。

4. 需要指出的是:namenode与datanode之间的通信,jobtracker与tasktracker之间的通信,都是通过“心跳”完成的。

三.Datanode、Namenode心跳源码分析


既然“心跳”是Datanode主动给Namenode发送的。那Datanode是怎么样发送的呢?下面贴出Datanode.class中的关键代码:

代码一:

/**
   * 循环调用“发送心跳”方法,直到shutdown
   * 调用远程Namenode的方法
   */
  public void offerService() throws Exception {
•••
    while (shouldRun) {
      try {
        long startTime = now();
         // heartBeatInterval是在启动Datanode时根据配置文件设置的,是心跳间隔时间
        if (startTime - lastHeartbeat > heartBeatInterval) {
          lastHeartbeat = startTime;
//Datanode发送心跳
          DatanodeCommand[] cmds = namenode.sendHeartbeat(dnRegistration,
                                                       data.getCapacity(),
                                                       data.getDfsUsed(),
                                                       data.getRemaining(),
                                                       xmitsInProgress.get(),
                                                       getXceiverCount());
          myMetrics.addHeartBeat(now() - startTime);
         
          if (!processCommand(cmds))
            continue;
        }
       
      •••
      }
    } // while (shouldRun)
  } // offerService

 

需要注意的是:发送心跳的对象并不是datanode,而是一个名为namenode的对象,难道在datanode端就直接有个namenode的引用吗?其实不然,我们来看看这个namenode吧:

代码二:

public DatanodeProtocol namenode = null;

 

namenode其实是一个DatanodeProtocol的引用,在对hadoop RPC机制分析的文章中我提到过,这是一个Datanode和Namenode通信的协议,其中有许多未实现的接口方法,sendHeartbeat()就是其中的一个。下面看看这个namenode对象是怎么被实例化的吧:

代码三:

  this.namenode = (DatanodeProtocol) 
      RPC.waitForProxy(DatanodeProtocol.class,
                       DatanodeProtocol.versionID,
                       nameNodeAddr, 
                       conf);

 

其实这个namenode并不是Namenode的一个对象,而只是一个Datanode端对Namenode的代理对象,正是这个代理完成了“心跳”。代理的底层实现就是RPC机制了。参考博客:http://weixiaolu.iteye.com/blog/1504898

四.Tasktracker、Jobtracker心跳源码分析


同样我们从Tasktracker入手,下面贴出Tasktracker.class的关键代码:


代码四:

代码一:
State offerService() throws Exception {
    long lastHeartbeat = System.currentTimeMillis();
    while (running && !shuttingDown) {
     •••
        
        // 发送心跳,调用代码二
        HeartbeatResponse heartbeatResponse = transmitHeartBeat(now);

      •••
    return State.NORMAL;
  }

代码二:
HeartbeatResponse transmitHeartBeat(long now) throws IOException {
   •••
    HeartbeatResponse heartbeatResponse = jobClient.heartbeat(status, 
                                                              justStarted,
                                                              justInited,
                                                              askForNewTask, 
                                                         heartbeatResponseId);                              
•••
    return heartbeatResponse;
  }

 

其实我觉得分析到这里大家就可以自己分析了,jobClient也是一个协议:

代码五:

InterTrackerProtocol jobClient;

 

该协议用于定义Tasktracker和Jobtracker的通信。同样,它也是一个代理对象:

 

代码六:

   this.jobClient = (InterTrackerProtocol) 
    UserGroupInformation.getLoginUser().doAs(
        new PrivilegedExceptionAction<Object>() {
      public Object run() throws IOException {
        return RPC.waitForProxy(InterTrackerProtocol.class,
            InterTrackerProtocol.versionID,
            jobTrackAddr, fConf);
      }
    });

 

代理的底层实现也是RPC机制。参考博客:http://weixiaolu.iteye.com/blog/1504898

终于,hadoop底层通信整个系列的源码分析全部完成了。我可以好好地复习学校的功课了。呵呵。

 

 

  • 大小: 44.9 KB
5
6
分享到:
评论
6 楼 the_small_base_ 2015-03-17  
现在Hadoop2.X下DataNode.java文件已经不存在你上面讲解的方法了~
5 楼 makemyownlife 2012-05-30  
哈哈 加油 加油
4 楼 逸情公子 2012-05-30  
引用
核心还是hdfs和mapreduce,尤其是mapreduce,这块代码比hdfs复杂很多。

呵呵,谢谢,我会继续分析的。
3 楼 ggjucheng 2012-05-30  
逸情公子 写道
引用
比较初级
例如可以讲讲namenode会和datanode发送的命令,例如升级,格式化。
例如jobtracker和tasktracker的心跳,就会下发map或者reducer的任务。

好的,有时间我会分析一下的,不过我觉得如果把我hadoop分类下的文章都看过后,大家应该都可以自己分析了。

要分析还是得自己去看看源码,别人只能提供一个思路而已。hadoop的ipc框架其实比较简单,本身代码就不多。核心还是hdfs和mapreduce,尤其是mapreduce,这块代码比hdfs复杂很多。
2 楼 逸情公子 2012-05-30  
引用
比较初级
例如可以讲讲namenode会和datanode发送的命令,例如升级,格式化。
例如jobtracker和tasktracker的心跳,就会下发map或者reducer的任务。

好的,有时间我会分析一下的,不过我觉得如果把我hadoop分类下的文章都看过后,大家应该都可以自己分析了。
1 楼 ggjucheng 2012-05-30  
比较初级
例如可以讲讲namenode会和datanode发送的命令,例如升级,格式化。
例如jobtracker和tasktracker的心跳,就会下发map或者reducer的任务。

相关推荐

Global site tag (gtag.js) - Google Analytics