浅谈MapReduce编程一

一、MapReduce程序一般通过键值对的形式来处理数据

    

 Map:(K1,V1)----->List(K2,V2)
 Reduce:(K2,List(V2))------>List(K3,V3)

 

 

二、数据流动

       1、 输入数据通过split的方式，被分发到各个节点上

       2、每个Map任务在一个split上面进行处理。

       3、Mapper任务输出中间数据

       4、在组合过程中（shuffle），节点之间进行数据交换

       5、拥有同样key值的中间数据（键值对）被送到同样的reducer任务中

       6、reduce执行任务后，输出结果。

       注意前四步为Map过程，后两步为Reduce过程

三、MapReduce程序使用的数据类型

        由于MapReduce框架需要将数据在集群中进行移动，所以框架定义了一种序列化的键值对类型，即keys和values必须能够进行序列化。所以实现了Writable接口的对象可以充当values,实现了WritableComparalbe<T>接口的对象可以充当keys或values

     Hadoop中实现了WritableComparable<T>接口的类有如下几个：

     

BooleanWritable、ByteWritable、DoubleWritable、FloatWritable、IntWritable、LongWritable、Text、NullWritable。

 

 

四：Mapper

        Hadoop中的mapper,.必须实现Mapper接口并且继承MapReduceBase类，  MapReduceBase类是mappers和reduces类的基类，它包含了构造方法和析构方法。

void configure(JobConf job):提取配置文件或程序中设置的参数值

void close() :任务是关闭数据库连接，关闭文件等等

Mapper接口中map函数的原型

Void map(K1 key,V1 value,OutputCollector<K2,V2> output,Reporter reporter) throws IOException

 

 

 

 

Hadoop中实现的Mapper接口的常用类

IdentityMapper<K,V>: 实现了Mapper<K,V,K,V> ，直接将map的输入转换为输出。

InverseMapper<K,V>  实现了Mapper<K,V,V,K>,反转键值对。

RegexMapper<K>    实现了Mapper<K,TEXT,TEXT,LongWritable>,为每一个匹配的正则表达式生成一个（match,1）键值对

TokenCountMapper<K> 实现了Mapper<K,TEXT,TEXT,LongWritable>,当输入值被标记，那么生成一个（token,1）键值对

五、Reducer

       Hadoop中的mapper,.必须实现Reducer接口并且继承MapReduceBase类 

        Reducer接口中reduce方法的原型为：

     

void reduce(K2,key,Iterator<V2> values,
                  OutputCollector<K3,V3> output,Reporter reporter) throws IOException

  

 

      Reducer任务接口接收到许多mapper任务传来的数据，首先将数据进行排序，然后根据key值进行分组，最后调用reduce方法

Hadoop中实现的Reducer接口的常用类

IdentityReducer<K,V>:直接将输入转换为输出

LongSumReducer<K> 实现了Reducer<K,LongWritable,K,LongWritable> ,对于同样的key值进行value值的相加。

<!--EndFragment-->