Hadoop概念及其用法专家讲解

原文 http://developer.51cto.com/art/201006/203789.htm

 

本节和大家继续学习Hadoop，Hadoop是一个分布式系统基础架构，由Apache基金会开发。它有什么奥秘呢，就让我们一起来继续关注Hadoop吧。

条款6：多个大输入的Job建议使用串行执行，多个小输入的Job建议使用并行执行。

Hadoop的任务处理分为map阶段以及reduce阶段，当集群的taskslots足够支持多个任务同时执行时，建议使用多任务并行执行，反之，建议使用串行执行，且当一个Job开始执行reducetask

时，可以开始执行下一个Job的maptask。

以下是我们在50台退役机器上分别并行和串行运行2个100G，200G，300G的任务的测试结果：

条款7：reducer的个数应该略小于集群中全部reduceslot的个数。

maptask的个数由输入文件大小决定，所以选择合适的reducer的个数对充分利用Hadoop集群的性能有重要的意义。

Hadoop中每个task均对应于tasktracker中的一个slot，系统中mapperslots总数与reducerslots总数的计算公式如下：

mapperslots总数=集群节点数×mapred.tasktracker.map.tasks.maximum

reducerslots总数=集群节点数×mapred.tasktracker.reduce.tasks.maximum

设置reducer的个数比集群中全部的reducerslot略少可以使得全部的reducetask可以同时进行，而且可以容忍一些reducetask失败。

条款8：多个简单串行的Job优于一个复杂的Job。将复杂的任务分割成多个简单的任务，这是典型的分治的思想。这样不仅可以使得程序变得更简单，职责更单一，而且多个串行的任务还可以

在上一个任务的正在执行reduce任务的时候，利用空闲的map资源来执行下一个任务。

4.Key-Value权衡
Map-Reduce算法的核心过程如下：

map(k1,v1)-->list(k2,v2)

reduce(k2,list(v2))-->list(v2)

即通过用户定义的map函数将输入转换为一组<Key，Value>对，而后通过用户定义的reduce函数将<Key，List<Value>>计算出最后的结果。

如何选择合适的map和reduce函数才能充分利用Hadoop平台的计算能力呢？换句话说，如何选择上式中合适的K2和V2呢？

条款9：maptask或reducetask的大小应该适中，以一个task运行2-3分钟为宜，且task不能超出计算节点的运算能力。

虽然Hadoop平台帮助我们将数据分割成为小任务来执行，但我们也应当意识到，每个task都是在一个计算节点运行的，若一个task对机器资源（CPU、内存、磁盘空间等）的需求超出了计算

节点的能力的话，任务将会失败。而如果task过小的话，虽然计算节点能够快速的完成task的执行，但过多的task的管理开销，以及中间结果频繁的网络传输将占据任务执行的绝大部分时间，

这样同样会严重影响性能。建议的task大小最好是以能够运行2-3分钟为宜。

条款10：map产生的中间结果不宜过大。

输入数据经过用户定义的map函数后生成的<Key，Value>对是Map-Reduce模型的中间计算结果。

Maptask将计算的中间结果保存在本地磁盘，而后通过Reducetask拉去所有当前任务所需的中间结果，并将中间结果按Key排序。显然若map产生的中间结果过大，网络传输时间以及中间结

果排序将占据大部分的Job执行时间。本节关于Hadoop的介绍到此结束。