hadoop推荐

好消息：我的Hadoop新书《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理》已经开始在各大网站销售，购书链接地址：当当购书网址（目前有货），京东购书网址（已卖光），卓越购书网址（已卖光，链接到其他书店），淘宝天猫购买网址（目前有货，注意盗版！）。详情请查看新书官方宣传主页：http://hadoop123.com/。

我的联系方式是：http://dongxicheng.org/about/

我的新浪微博是：西成懂，欢迎关注我，很多重要信息将在微博上发布，经常在微博上讨论技术。

——————————————————————————————————————————————————–

在我的技术博客中，推荐以下几个专题：

一、Hadoop-MapReduce（一个离线计算框架）

Hadoop是google分布式计算框架MapReduce与分布式存储系统GFS的开源实现，由分布式计算框架MapReduce和分布式存储系统HDFS（Hadoop Distributed File System）组成，具有高容错性，高扩展性和编程接口简单等特点，现已被大部分互联网公司采用。

本博客一直关注Hadoop的发展动态，并整理了以下几篇文章：

(1) Hadoop框架优化：“Hadoop平台优化综述（一）”， “Hadoop平台优化综述（二）”

(2) Hadoop调度器研究：“Hadoop公平调度器解析”，”Hadoop计算能力调度器解析“, “Hadoop的调度器总结”，“如何编写Hadoop调度器”

(3) HDFS小文件管理：“HDFS小文件问题及解决方案”

(4) Hadoop上编写分布式程序，当前Hadoop主要有三种编程方式，分别为：

[1]Java语言：“如何在Hadoop上编写MapReduce程序”,

[2]Hadoop Streaming：“Hadoop Streaming 编程”，“Hadoop Streaming 高级编程”

[3]Hadoop Pipes：“Hadoop pipes设计原理”，”Hadoop pipes编程“

——————————————————————————————————————————————————

二、Hadoop-YARN(Hadoop 2.0的一个分支，实际上是一个资源管理系统)

YARN是Hadoop的一个子项目（与MapReduce并列），它实际上是一个资源统一管理系统，可以在上面运行各种计算框架（包括MapReduce、Spark、Storm、MPI等）。

本博客一直关注YARN的发展动态，并整理了以下几篇文章：

（1）准备篇：

[1]“下一代Apache Hadoop MapReduce框架的架构”

[2]“Hadoop 2.0中的基本术语解释”

[3]“相比于MRv1，YARN带来的优势是什么？”

[4]“Hadoop版本选择探讨”

[5]“YARN/MR2编程模型介绍“

(2) YARN ResourceManager分析：

[1]“YARN/MRv2 Resource Manager深入剖析—RM总体架构”

[2]“YARN/MRv2 Resource Manager深入剖析—用户交互相关模块分析”

[3]“YARN/MRv2 Resource Manager深入剖析—服务与事件处理器”

[4]“YARN/MRv2 Resource Manager深入剖析—AM管理”

[5]“YARN/MRv2 Resource Manager深入剖析—NM管理”

[6]“YARN/MRv2 Resource Manager深入剖析—RMApp状态机分析”

[7]“YARN/MRv2 Resource Manager深入剖析—RMAppAttempt状态机分析”

[8]“YARN/MRv2 Resource Manager深入剖析—RMContainer状态机分析”

[9]“YARN/MRv2 Resource Manager深入剖析—资源调度器“

(3)YARN NodeManager分析：

[1]“YARN/MRv2 Node Manager深入剖析—整体架构”

[2]“YARN/MRv2 Node Manager深入剖析—节点健康状况检测”

[3]“YARN/MRv2 Node Manager深入剖析—Container启动过程分析”

[4]“YARN/MRv2 Node Manager深入剖析—Application状态机分析”

[5]“YARN/MRv2 Node Manager深入剖析—Container状态机分析”

[6]“YARN/MRv2 Node Manager深入剖析—LocalizedResource状态机分析“

(4) YARN MRAppMaster分析：

[1] “YARN/MRv2 MRAppMaster深入剖析—概述”，

[2]“YARN/MRv2 MRAppMaster深入剖析—整体架构”，

[3]“YARN/MRv2 MRAppMaster深入剖析—作业生命周期”

[4]“YARN/MRv2 MRAppMaster深入剖析—ContainerAllocator分析”

[5]“YARN/MRv2 MRAppMaster深入剖析—ContainerLauncher分析”

[6]“YARN/MRv2 MRAppMaster深入剖析—推测执行机制”

[7]“YARN/MRv2 MRAppMaster深入剖析—作业恢复“

(4)YARN应用程序开发及实例：

[1]“YARN/MRv2的Client端代码分析”

[2]“如何编写YARN应用程序”

[3]“YARN编程实例—distributedshell源码分析”

[4]“如何运行YARN中的DistributedShell程序”

[5]“YARN编程实例—Unmanaged AM工作原理介绍“

(5)YARN的其他方面：

[1]“浅谈Hadoop YARN中的事件驱动机制”

[2]“浅谈Borg/YARN/Mesos/Torca/Corona一类系统”

[3]“Apache Tez：一个运行在YARN之上支持DAG作业的计算框架”

[4]“浅谈Apache Tez中的优化技术”

[5]“Apache Tajo：一个运行在YARN上支持SQL的分布式数据仓库”

[6]“多集群下资源共享方案介绍”

[7]“解析Google集群资源管理系统Omega“

————————————————————————————————————————————————–

三、FrameWork On YARN

运行在YARN上的框架，包括MapReduce-On-YARN, Spark-On-YARN, Storm-On-YARN和Tez-On-YARN。

（1）MapReduce-On-YARN：YARN上的离线计算；

（2）Spark-On-YARN：YARN上的内存计算；

（3）Storm-On-YARN：YARN上的实时/流式计算；

（4）Tez-On-YARN：YARN上的DAG计算

————————————————————————————————————————————————-

四、日志分析系统

随着网站的访问量越来越大，日志的分析和挖掘显得尤为重要。本博客也一直在关注开源日志系统，包括：facebook的scribe，apache的chukwa，linkedin的kafka和cloudera的flume等，并整理了以下几篇文章：

(1) 关于Facebook的Scribe：“Scribe日志收集系统介绍”

(2) 关于LinkedIn的Kafka：“消息系统Kafka介绍”

(3) 关于开源日志系统的比较：“开源日志系统比较”

————————————————————————————————————————————————-

五、Apache Thrift

Apache Thrift是Facebook开源的RPC框架，包含序列化/反序列化和RPC两部分，本博客关注Thrift发展，并整理一下几篇文章：

[1]“Thirft框架介绍”

[2]“Thrift使用指南”

[3]“使用Thrift RPC编写程序”

[4]“让Thrift支持双向通信”

[5]“浅谈Thrift内部实现原理“

—————————————————————————————————————————————————

六、数据结构和算法

本人一直以为做IT，积累基础知识尤其重要，因而本人一直在修炼基本功，即数据结构和算法，并不断整理和总结，并将进度汇总在博文“数据结构和算法汇总”中。