Hadoop是一个用于构建分布式应用程序的框架。Hadoop框架给应用程序透明的提供了一组稳定和可靠的接口。这项技术的实现得易于映射/ 归约编程范式。在这个范式里,一个应用程序被分割成为许多的小的任务块。每一个这样的任务块被集群中的任意一个节点的计算机执行或重新执行。此外,这种范 式还提供了一种分布式的文件系统,这种文件系统用来存储数据于集群中相互间具有高带宽的计算机上。映射/归约和分布式文件系统都被设计成为容错的结构。也 就是说,当集群中某个节点发生了故障整个文件系统或者映射/归约操作仍然能够有效的运作。
Hadoop起初是作为Nutch项目的基础结构来开发的。有关Nutch得更具体的信息可以访问Apache关于Nutch开源项目的官方网站。Hadoop和Nutch都隶属于Lucene Apache项目。
Hadoop的映射/归约(Map/Reduce)
设计模型和执行框架:
映射/归约是一种编程范式最早在Lisp编程语言中得已实现,这种范式将一个大型的分布式计算看作是一系列建立在 键/值映射数据集上的分布式操作。Hadoop的映射/规约框架利用一个集群中的计算机执行用户定义的映射/归约任务。一个映射/规约操作分为两个阶段: 映射阶段和规约阶段。用户通常是把一个键值对应的数据集作为计算的输入提供给系统。
在映射阶段,框架将用户输入的数据分割成很多片断(fragments)并把每一个数据片断分配一个映射任务。系统常常将很多这样的映射任务分 配给一个集群中多个运行了该框架的计算机。每一个映射操作包括消耗掉数据片断中的键值对并且产生一个中间态的键值对应集合。例如对于每一个输入的键值对 (K,V),映射操作调用用户定义的映射函数将(K,V)对转化成为一个不同的键值对(K’,V’)
接着,系统结构将这些中间态的数据集按照键的值进行排序并生成一个新的(K’,V’*)元组(tuples)。这样所有对应同一个键不同值的数据便会被放到一起。同时系统也将这些元组分隔成为很多片断,这些片段的数目等同于归约任务的数目。
在归约的阶段,每一个归约操作消耗掉分配给它的(K’,V’*)片断。对于每一个这样的元组,归约操作会调用用户定义的归约函数用来将这些片断 转化成为用户需要的键值对(K,V)进行输出。和映射操作类似,系统将这许许多多的归约操作分配给集群计算机并且负责将映射操作中所产生的中间态数据集传 输给相应的归约操作。
在各个阶段时候的操作都是作为一种容错的风格来执行的。如果某个节点在执行操作中发生故障。其正在执行的任务将重新分配给其他的节点。多个映射归约任务的同时执行保证了良好的装载平衡,同时,也确保发生故障的机器在重新启动以后能够很快的被重新分配任务。
Hadoop映射/归约的架构:
Hadoop映射/归约框架是一个主/从(master/slave)架构.它由一个主服务器(Jobtracker)和若干从服务器(tasktracker)组成。主服务器是用户与系统打交道的关键。用户将自定义的
映射/归约操作提交给主服务器。主服务器将操作放入作业队列中并按照先到先服务的原则对队列中的任务进行处理。主服务器用来将映射或者归约操作分配给不同的从服务器。从服务器在主服务器的控制下执行操作,同时,不同的从服务器间在映射和归约阶段也进行着数据传输
Hadoop DFS
Hadoop的分布式文件系统(HDFS)被设计用来在集群计算机间存储大型 数据文件。这个设计来源于Google文件系统(GFS)。Hadoop分布式文件系统将每一个文件作为一组数据块进行存储,一个文件中除了最后一个数据 块的所有数据块都具有相同的大小。作为容错处理,这些数据块被复制成为了很多份。每一个文件的数据块大小和复制的份数是可以被管理员配置的。另外,值得注 意的是,HDFS中的文件都是只写一次并且每一个时间点严格的只允许一个线程执行写操作。
HDFS构架:
类似于Hadoop的映射规约(Map/Reduce), HDFS也遵循 master/Slave的架构。一个HDFS装置包括了一个控制服务器用来管理文件系统的命名空间和管理客户服务器对文件的访问,我们把这样的节点也叫 做命名节点(Namenode)。此外,在这样一个装置中还包括了一系列的数据节点(Datanode),每一个数据节点代表一个运行了HDFS文件系统 存储结构的机群计算机。命名节点通过一个RPC的结构对文件系统进行类似于文件或目录的打开,关闭,重命名之类的操作。同时,命名节点也负责决定将数据块 映射(Map)到相应的数据节点上。而数据节点则负责向文件系统的用户提供对文件的读写操作。数据节点也可以在命名节点的控制下对数据块进行创建,删除或 者复制的操作。
分享到:
相关推荐
- **MapReduce**:是Hadoop的并行计算模型,将大任务拆分为map和reduce两部分,map阶段并行处理数据,reduce阶段进行结果聚合。 4. **Hadoop的生态系统** - **Common**:提供基本的IO组件、接口,包括序列化、...
Hadoop的开发始于2004年,由Doug Cutting领导的团队基于Lucene、Nutch等开源项目,实现了Google的GFS和Map-Reduce思想。Hadoop的第一版包括了Hadoop分布式文件系统(HDFS)和Map-Reduce计算模型,并在2005年实现了在...
Hadoop,作为Google文件系统(GFS)的开源实现,是分布式计算领域的重要工具,其强大的数据处理能力和高容错性吸引了众多开发者和企业的关注。本文将详细介绍如何在Linux环境下安装和部署Hadoop,包括硬件环境准备、...
2006 年 3 月份,Map-Reduce 和 Nutch Distributed File System(NDFS)分别被纳入到 Hadoop 项目中,Hadoop 就此正式诞生,标志着大数据时代来临。 Hadoop 三大发行版本:Apache、Cloudera、Hortonworks。Apache ...
Hadoop通过实现自己的MapReduce框架,使得用户能够在分布式环境中轻松处理大规模数据集。 - _BigTable到HBase_: BigTable是Google的一个高性能分布式数据存储系统,而HBase则是基于HDFS之上构建的非关系型数据库...
- 2006年:Map-Reduce和NDFS被纳入Hadoop项目。 ##### 2.3 Hadoop发行版本 - **Apache版本**:最基础的版本,适合初学者学习。 - **Cloudera版本**:在大型互联网企业中较为流行,提供商业支持和服务。 - **...
- **MapReduce**:MapReduce是Hadoop的计算框架,通过“Map”和“Reduce”两个阶段实现数据处理。JobTracker协调整个任务分配,TaskTracker在各个节点上执行具体的Map和Reduce任务。 **Hadoop 工作流程** 1. **数据...
Nutch项目中引入了简单的分布式文件系统和Map-Reduce计算框架,这为Hadoop的诞生奠定了基础。 - **Hadoop**:最初是由Nutch项目分离出来的,旨在提供一个更通用的分布式计算框架,以应对大规模数据处理的需求。...
首先,Hadoop是一个由Apache软件基金会支持的开源分布式存储与计算框架,其发展起源于Apache Lucene、Apache Nutch以及Google的三大论文:MapReduce、GFS和BigTable。Hadoop生态系统包括Hadoop核心、Hadoop Common、...
2. **HDFS (Hadoop Distributed File System)**:提供了一个高吞吐量的可靠分布式文件系统,是对Google的GFS(Google File System)的一个开源实现。 3. **MapReduce**:是一种用于大规模数据集的并行编程模型及其...
Cutting和他的团队学习并模仿了Google的解决方案,例如GFS(Google文件系统)对应HDFS(Hadoop分布式文件系统),Map-Reduce对应Hadoop的MapReduce计算框架,而BigTable则启发了HBase的诞生。 Hadoop的发展历程可以...
2005年,Nutch实现了MapReduce,并在2006年,NDFS和MapReduce从Nutch中独立出来,形成了Hadoop,Doug Cutting随后加入雅虎。2008年,Hadoop晋升为Apache的顶级项目,并在同年打破了数据排序速度的世界纪录。从此,...
2003-2004年,Google公开了部分GFS和Mapreduce思想的细节,以此为基础Doug Cutting等人用了2年业余时间实现了DFS和Mapreduce机制,使Nutch性能飙升 2005 年Hadoop 作为 Lucene的子项目 Nutch的一部分正式引入...
Hadoop的早期版本包括Nutch Distributed File System(NDFS),后来Map-Reduce和NDFS分别被纳入Hadoop项目。Cloudera和Hortonworks是两个重要的Hadoop发行版本提供商,它们在Hadoop的基础上提供了更多的企业级功能和...
- **TaskTracker**:这些节点执行实际的Map和Reduce任务,并将结果返回给JobTracker。 #### 四、Hadoop运行模式 - **单机模式**:这种模式下所有Hadoop服务都运行在同一台机器上,主要用于开发和测试。 - **伪...
- **2006年**:在Google发布的关于GFS和MapReduce的研究报告启发下,他们开始着手创建Hadoop项目,目的是为了提供一个低成本的解决方案来构建大规模的数据处理算法。 #### 四、Hadoop的技术架构 1. **HDFS...
在Hadoop架构中,Map阶段将数据分解并分配给各个节点,Reduce阶段则负责整合和聚合处理后的结果,实现了分布式计算。 【Hadoop 的主要子项目】包括HBase、Hive、Pig、Zookeeper等,它们分别提供了NoSQL数据库、数据...
受到谷歌GFS(Google File System)和MapReduce论文的启发,Cutting和Mike Cafarella在2004年实现了分布式文件系统NDFS和MapReduce计算框架。随着时间的推移,这两个组件合并成了Apache Hadoop项目,并在2008年成为...