Hadoop组件

      上一篇文章写到了配置文件，于是有些朋友就问我，这些配置文件是什么意思呢？这里我也引用一个地址，大家可以去看看（对于现有资源要好好利用，别浪费了），URL：http://blog.chinaunix.net/uid-22477743-id-388307.html

 

      回归主题，这次要讲的是我们Hadoop的一些组件(如果你上篇文章看了，可是还没部署，赶紧部署吧，看是没用的！) ，在写之前，还是给大家普及一些概念，你们就继续默念我唠叨吧。。。

 

       hadoop包括：NameNode(名称节点)，DataNode(数据节点)，Secondary NameNode(次名称节点)，JobTracker（作业跟踪节点），TaskTracker（任务跟踪节点）【我不是吕不韦，不能做到一字千金来悬赏大家，不过欢迎大家来勘误，我表示衷心的感谢】

 

       NameNode:名称节点是Hadoop守护进程中最重要的一个，NameNode位于HDFS(Hadoop文件系统)的主端(Master端)，他指导Slave端的DataNode执行I/O任务，他跟踪文件如何分割成文件块，然后被什么节点存储，以及分布式文件系统的运行状态是否正常。

 

      DataNode:每个Slave节点都会有个DataNode守护进程来执行文件系统的工作---将HDFS数据块读取或者写入本地系统的实际文件中。当客户端要读取系统的数据时，NameNode会告诉客户端每个数据块分别存储在什么DataNode上，然后客户端直接与DataNode通信，来处理与数据块相应的本地文件。

 

      Secondary NameNode: 这个相当于是一个备份系统，备份NameNode的数据，因为NameNode是单一故障点，有了 Secondary NameNode，当NameNode出现故障后，我们需要手工配置将 Secondary NameNode 配置为主NameNode即可， Secondary NameNode 在正常情况下只会跟NameNode通讯，获取HDFS元数据的快照。

 

      JobTracker:  JobTracker是应用程序与hadoop之间的纽带。当有代码提交到集群时， JobTracker会确定执行计划，包括处理什么文件，为不同任务分配节点，以及监控所有的任务。如果任务失败就自动重启任务，但是分配节点可能不同，一个集群只有一个 JobTracker，一般也在主节点上。从之前的配置文件上看，是这么回事。

 

      TaskTracker: JobTracker是监测系统MapReduce的整个执行过程，那么 TaskTracker就是监控各个任务在自己的节点的执行情况。我想这个还是比较好理解的。 TaskTracker会不断跟JobTracker联系，如果联系超时或者Down了，那么JobTracker会分配任务到其他节点。