Hadoop心跳机制源码分析
前言:
这些天遇到了一些感情方面的问题,着实比较痛苦。不过最终在亲人、朋友的开导下,我已度过了最艰难的那段时期。在这里我要谢谢我的爸爸,是你一直相信着我,支持着我,虽然我一年在家只能呆上一两个月,可我却一直能够感受到家的温暖;我要感谢马总,是你用切身的经历为我开导,是你告诉我该如何正确地对待。我要感谢亮仔,虽然你就是个小屁孩,但谢谢你喝醉了酒还要陪我回铁道,用几乎是孩子的话来安慰我。我要感谢汤帅,是你让我知道了,其实你的情况比我还糟糕(呵呵,开个玩笑)。还有信管院的那些美女程序媛们,我也要感谢你们,是你们让我看到了希望,你懂的。
突然发现,我已经很长时间没有写技术博客了,因为一直被各种各样的事情给耽搁着,以至于这篇文章到现在才发表出来。
正文:
一.体系背景
首先和大家说明一下:hadoop的心跳机制的底层是通过RPC机制实现的,这篇文章我只介绍心跳实现的代码,对于底层的具体实现,大家可以参考我的另几篇博客:
1. hadoop的RPC机制(参考:http://weixiaolu.iteye.com/blog/1504898
)
2. 动态代理(参考 :http://weixiaolu.iteye.com/blog/1477774
)
3. Java NIO(参考 :http://weixiaolu.iteye.com/blog/1479656
)
以上三篇文章和这篇文章完整地分析了hadoop的数据传输过程。大家可以当成一个体系来阅读。
二.心跳机制
1. hadoop集群是master/slave模式,master包括Namenode和Jobtracker,slave包括Datanode和Tasktracker。
2. master启动的时候,会开一个ipc server在那里,等待slave心跳。
3. slave启动时,会连接master,并每隔3秒钟主动向master发送一个“心跳”,这个时间可 以通过”heartbeat.recheck.interval”属性来设置。将自己的状态信息告诉master,然后master也是通过这个心跳的返回值,向slave节点传达指令。
4. 需要指出的是:namenode与datanode之间的通信,jobtracker与tasktracker之间的通信,都是通过“心跳”完成的。
三.Datanode、Namenode心跳源码分析
既然“心跳”是Datanode主动给Namenode发送的。那Datanode是怎么样发送的呢?下面贴出Datanode.class中的关键代码:
代码一:
/**
* 循环调用“发送心跳”方法,直到shutdown
* 调用远程Namenode的方法
*/
public void offerService() throws Exception {
•••
while (shouldRun) {
try {
long startTime = now();
// heartBeatInterval是在启动Datanode时根据配置文件设置的,是心跳间隔时间
if (startTime - lastHeartbeat > heartBeatInterval) {
lastHeartbeat = startTime;
//Datanode发送心跳
DatanodeCommand[] cmds = namenode.sendHeartbeat(dnRegistration,
data.getCapacity(),
data.getDfsUsed(),
data.getRemaining(),
xmitsInProgress.get(),
getXceiverCount());
myMetrics.addHeartBeat(now() - startTime);
if (!processCommand(cmds))
continue;
}
•••
}
} // while (shouldRun)
} // offerService
需要注意的是:发送心跳的对象并不是datanode,而是一个名为namenode的对象,难道在datanode端就直接有个namenode的引用吗?其实不然,我们来看看这个namenode吧:
代码二:
public DatanodeProtocol namenode = null;
namenode其实是一个DatanodeProtocol的引用,在对hadoop RPC机制分析的文章中我提到过,这是一个Datanode和Namenode通信的协议,其中有许多未实现的接口方法,sendHeartbeat()就是其中的一个。下面看看这个namenode对象是怎么被实例化的吧:
代码三:
this.namenode = (DatanodeProtocol)
RPC.waitForProxy(DatanodeProtocol.class,
DatanodeProtocol.versionID,
nameNodeAddr,
conf);
其实这个namenode并不是Namenode的一个对象,而只是一个Datanode端对Namenode的代理对象,正是这个代理完成了“心跳”。代理的底层实现就是RPC机制了。参考博客:http://weixiaolu.iteye.com/blog/1504898
。
四.Tasktracker、Jobtracker心跳源码分析
同样我们从Tasktracker入手,下面贴出Tasktracker.class的关键代码:
代码四:
代码一:
State offerService() throws Exception {
long lastHeartbeat = System.currentTimeMillis();
while (running && !shuttingDown) {
•••
// 发送心跳,调用代码二
HeartbeatResponse heartbeatResponse = transmitHeartBeat(now);
•••
return State.NORMAL;
}
代码二:
HeartbeatResponse transmitHeartBeat(long now) throws IOException {
•••
HeartbeatResponse heartbeatResponse = jobClient.heartbeat(status,
justStarted,
justInited,
askForNewTask,
heartbeatResponseId);
•••
return heartbeatResponse;
}
其实我觉得分析到这里大家就可以自己分析了,jobClient也是一个协议:
代码五:
InterTrackerProtocol jobClient;
该协议用于定义Tasktracker和Jobtracker的通信。同样,它也是一个代理对象:
代码六:
this.jobClient = (InterTrackerProtocol)
UserGroupInformation.getLoginUser().doAs(
new PrivilegedExceptionAction<Object>() {
public Object run() throws IOException {
return RPC.waitForProxy(InterTrackerProtocol.class,
InterTrackerProtocol.versionID,
jobTrackAddr, fConf);
}
});
代理的底层实现也是RPC机制。参考博客:http://weixiaolu.iteye.com/blog/1504898
。
终于,hadoop底层通信整个系列的源码分析全部完成了。我可以好好地复习学校的功课了。呵呵。
- 大小: 44.9 KB
分享到:
相关推荐
tornado-6.4.1-cp38-abi3-musllinux_1_2_i686.whl
tornado-6.1-cp36-cp36m-manylinux2014_aarch64.whl
基于java的ssm停车位短租系统程序答辩PPT.pptx
tornado-6.4b1-cp38-abi3-musllinux_1_1_x86_64.whl
基于java的招生管理系统答辩PPT.pptx
本压缩包资源说明,你现在往下拉可以看到压缩包内容目录 我是批量上传的基于SpringBoot+Vue的项目,所以描述都一样;有源码有数据库脚本,系统都是测试过可运行的,看文件名即可区分项目~ |Java|SpringBoot|Vue|前后端分离| 开发语言:Java 框架:SpringBoot,Vue JDK版本:JDK1.8 数据库:MySQL 5.7+(推荐5.7,8.0也可以) 数据库工具:Navicat 开发软件: idea/eclipse(推荐idea) Maven包:Maven3.3.9+ 系统环境:Windows/Mac
基于java的农机电招平台答辩PPT.pptx
jdk23 甲骨文官方安装包
基于java的机场网上订票系统答辩PPT.pptx
项目经过测试均可完美运行! 环境说明: 开发语言:java jdk:jdk1.8 数据库:mysql 5.7+ 数据库工具:Navicat11+ 管理工具:maven 开发工具:idea/eclipse
基于java的网上书店销售管理系统答辩PPT.pptx
tornado-6.3.3-cp38-abi3-win32.whl
【作品名称】:基于 Jsp+Sqlserver 实现的超市信息管理系统 【适用人群】:适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【项目介绍】: 系统功能: (1)系统分两种身份:管理员和员工,选择不同的身份进入不同的功能操作界面! (2)商品信息管理:管理员可以添加和维护商品信息,员工只能对商品信息进行查询 (3)员工信息管理:管理员登陆系统后可以可以添加和维护超市员工(收银员)的信息 (4)商品进货管理:管理员登陆系统后可以添加商品进货信息,可以对商品进货信息进行查询和统计,添加商品进进货退货信息,对商品进货退货信息进行查询和统计 (5)商品销售管理:员工(收银员)登陆系统后可以对商品进行销售,可以按时间查询自己的销售业绩;管理员登陆系统后可以按照时间等条件对销售信息进行查询,可以根据小票号登记顾客退货信息,查询顾客退货信息,可以查看员 【资源声明】:本资源作为“参考资料”而不是“定制需求”,代码只能作为参考,不能完全复制照搬。需要有一定的基础看懂代码,自行调试代码并解决报错,能自行添加功能修改代码。
tornado-6.3.2-cp38-abi3-musllinux_1_1_i686.whl
基于java的热带水果商城答辩PPT.pptx
java awt、Swing实现中国象棋可联机版本采用面向对象思想 采用面向对象的思路,实现中国象棋可联机版本,适合初学者,以及对面向对象有更深层次理解的开发者或者同学。 使用原生的java awt、Swing进行窗口式开发 将素材文件夹放在D:\Game路径下 两个工程直接导入Eclipse,即可运行, ps:一个工程运行两次也可以,需要注意端口号,代码默认如果连接的端口号是3003,则监听3004端口,相反同理。联机前需要确保两台计算机同时处于局域网或外网
web前端设计与开发(详细整理)(包含html讲解,css讲解,移动web讲解),合适学习前端的人员进行基础学习,一秒变高手
分析所需的数据和代码都在这里
Listening Exercise 3 Part 2.mp3
链表 删除链表中的重复元素,链表基础