Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。
对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的DataNode管理存储的数据。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任务，这些任务分布在不同的从节点上。主节点监控它们的执行情况，并且重新执行之前的失败任务；从节点仅负责由主节点指派的任务。当一个Job被提交时，JobTracker接收到提交作业和配置信息之后，就会将配置信息等分发给从节点，同时调度任务并监控TaskTracker的执行。
从上面的介绍可以看出，HDFS和MapReduce共同组成了Hadoop分布式系统体系结构的核心。HDFS在集群上实现分布式文件系统，MapReduce在集群上实现了分布式计算和任务处理。HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持，MapReduce在HDFS的基础上实现了任务的分发、跟踪、执行等工作，并收集结果，二者相互作用，完成了Hadoop分布式集群的主要任务。
原文章：http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html
相关推荐
### Hadoop：分布式系统基础架构概览 #### Hadoop的核心概念与起源 Hadoop是由Apache基金会开发的一款分布式系统基础架构，旨在使用户无需深入了解分布式系统的底层复杂性即可开发分布式程序，充分利用集群的强大...
### Hadoop简介与核心特性 #### 一、大数据与Hadoop背景 自“大数据”这一概念诞生以来，它已经在过去十多年间经历了飞速的发展。众多机构和组织试图对其定义进行阐述，例如研究机构Gartner将其定义为需要采用新型...
1. Hadoop简介：Hadoop的核心理念是通过分布式文件系统（HDFS）和分布式计算框架（MapReduce）实现数据的分散存储和并行处理，以提高处理效率。Hadoop的诞生源于Google的GFS和MapReduce论文，旨在解决海量数据处理的...
【Hadoop 简介】 Hadoop 是一个开源的分布式计算框架，由Apache软件基金会维护，是当前大数据处理领域的重要工具。它最初受到Google在2004年提出的MapReduce和GFS（Google File System）的启发，由Doug Cutting和...
【标题】：“福建师范大学精品大数据导论课程系列 (5.2.1)--4.1.2 hadoop简介之二.rar” 提供的是一份关于Hadoop的深入介绍，特别是针对Hadoop的基础概念和核心组件的讲解。Hadoop是Apache软件基金会开发的一个开源...
### HADOOP简介 #### Hadoop组成概述 Hadoop是一个开源软件框架，旨在为大型数据集提供分布式存储和计算能力。Hadoop的核心组件包括Hadoop分布式文件系统（HDFS）和MapReduce编程模型。 - **Hadoop分布式文件系统...
大数据处理框架：Hadoop：大数据与Hadoop简介.docx
Hadoop简介 Hadoop 是一个由 Apache 软件基金会开发的开源大数据处理框架，主要用于存储和处理大规模数据。Hadoop 的核心组件包括 HDFS、MapReduce、HBase 和 ZooKeeper。 1. HDFS（Hadoop Distributed File ...
#### 一、Hadoop简介 **Hadoop** 是一个能够对大量数据进行分布式处理的软件框架，它最初由Nutch和Lucene之父Doug Cutting于2006年创建。有趣的是，“Hadoop”这个名字来源于Doug Cutting的儿子对他玩具大象的一种...
Apache Hadoop 是一个开源的分布式计算框架，专为处理和存储大规模数据集而设计。它由Apache软件基金会维护，是大数据处理领域中的核心组件。Hadoop 的主要特点是高容错性和可扩展性，使得它能够处理PB级别的数据。...
### Hadoop概述及核心组件解析 #### Hadoop的定义与特点 Hadoop作为一个开源框架，主要面向大规模数据处理任务，特别是在离线分析场景下表现出色。它不是为在线事务处理设计的，即不适合处理那些需要频繁进行记录级...
Hadoop是现阶段数据开发的基础，Hadoop通常是指一个更广泛的概念—-Hadoop生态圈(基于或关于Hadoop的大数据开发的各种软件环境) 是Apache公司使用Java语言编写的开源的，分布式系统的基础架构 分布式就是，当储存...
- **计算模型**：为解决非专业用户难以有效利用分布式计算资源的问题，云计算提供高度抽象的计算模型，其中Hadoop是一个典型代表。 ### Hadoop：大数据处理的开源框架 Hadoop是一种开放源代码的分布式计算框架，...
简要介绍了hadoop的发展历程、原理、特征以及基于hadoop的分布式系统的安装方法。
Hadoop-0.21.0分布式集群配置.doc
1. **Hadoop简介**：Hadoop是一个开源框架，主要用于处理和存储大量数据。它的核心组件包括Hadoop Distributed File System (HDFS)和MapReduce，这两个组件共同实现了分布式计算。 2. **Eclipse IDE**：Eclipse是一...