Mapreduce OnlineEvaluation MapReduce在线测试平台

转载：http://delove2.iteye.com/blog/809803

我们搭建了一个公共的Hadoop MapReduce在线测试平台，网址：cloudcomputing.ruc.edu.cn. 现在开放注册。下面我们详细介绍这个测试平台。

一．平台简介
欢迎来到云计算的世界，欢迎来到MapReduce OnlineEvaluation！
这是一个可以自动运行您提交的Mapreduce程序的平台
Mapreduce是一个简单易用的编程框架，基于Map-reduce写出的程序可以同时运行在由成千上万台计算机组成的计算集群上。就算您不懂得并行编程，不懂套接字，您一样可以控制多台计算机同时处理数据。
在Mapreduce OnlineEvaluation上，您可以选择题目，编写相应的mapreduce程序，体验云平台的编程环境并很方便地学习编写mapreduce程序。

二．平台的主要功能和结构
平台的主要功能：
您可以登录退出，并在平台上更新自己的注册信息。同时，您也可以查看目前平台上的问题并提交您的程序。
平台可以对您提交的有限制的mapreduce-java程序编译打包运行，并对运行结果进行判断，然后返回结果给您。同时，您也可以查看您过去提交过的程序及其错误信息，目前平台只支持java程序。
目前，程序运行结果有：
1， 同时提交人数过多
2， 编译错误
3， Mapreduce过程错误（包括没有mapreduce过程的）
4， 运行结果与答案不符
5， 内存超出限制
6， 运行时间过长

因为这个平台只是一个评测系统，并非用来做实际的数据处理工作，因此我们对运行时间和使用内存限制很多，以防止一个人的不当使用影响其他人的正常使用。除了使用内存和运行时间上的限制，我们还有一些其他限制：
1， java程序主类名必须为MyMapre（否则为编译错误）
2， 您的mapreduce程序必须处于一个java源文件内，暂时不支持引用
其他源文件内的类。（也就是说您需要把Map，Reduce，Combine等类写到一个文件内）
3， 请按如下格式设置您的输入输出路径：
FileInputFormat.setInputPaths(conf, new Path(args[0])); 
FileOutputFormat.setOutputPath(conf, new Path(args[1])); 
很抱歉我们不能告诉您输入输出文件在hadoop-hdfs的路径，但是我们的平台会自动把它们作为第一个及第二个参数传递到您的mapreduce程序中，因此请按以上格式设置您的输入输出路径。
4， 平台对同时运行的mapreduce程序数量有限制。因为系统资源有限，这是一个很无奈的问题。Hadoop平台及mapreduce程序在处理少量数据时的表现并不是很好，毕竟io操作及远程io操作所耗费的时间不容忽视。即使您运行少量数据的wordcount程序也需要20多秒时间（根据运行状况变化）。因此请耐心待您当前提交的程序运行结束后再进行程序提交。以免一个用户占用太多系统资源。虽然我们没有限制您必须这么做。
5,请不要修改你的输出文件格式，尤其是文件名称，这会导致找不到输出文件,谢谢。
考虑到系统稳定性及安全性。平台限制了同时运行的mapreduce程序的最大数量， 并且不允许您的程序运行超过需要的时间或使用超过需要的内存空间。同时本平台运行在一个较低权限的用户下，你不能通过这个用户对系统进行破坏性的操作。
平台主要分三部分：
第一部分（OnlineEvaluation）：
1，   home page 帮助您迅速回到主页；
2， update you info在这里您可以修改您的注册信息；
3，    F.A.Qs一些常见问题的解答。
第二部分（Problem Set）：
1， Problems 问题列表，这里显示需要您编程解决的问题，你可以点击
问题编号查看问题的具体内容或者点击submit提交你的解决方案；
2，    Submit Solution 这里可以提交问题；
2， My Submission 这里可以查看您过去提交的题目的源代码和提交结
果（是按提交时间顺序逆序显示的）。
第三部分（User）：
1，   用户登陆及注册
三．如何提交我的解决方案
1， 登陆
2， 你可以通过以下方式查看问题内容：
a) 点击problem查看所有问题，并可以再问题列表中点击问题编号查看问题内容；
b) 在搜索框中输入问题编号直接查看问题内容 。
3， 你可以通过以下方式进入提交页面：
a) 点击Submit Solution进入提交页面；
b) 在查看问题列表页面中，点击问题后的submit提交问题，这时问题标号会自动输入为你所点击的问题的编号；
c) 在查看问题具体内容时，点击问题最下方的submit进入提交页面。
四．主要的测试题目和解决思路
1000 WordCount:
WordCount在mapreduce中的地方好比HelloWorld，因此我们把它放在第一道题，作为mapreduce程序的入门程序，题号1000。
Wordcount的输入是文件夹，文件夹内是多个文件，内容是以空格作分隔符的单词序列
输出为单词，以及他们的数量。

首先，在mapreduce程序中，程序会按照setInputFormat中设置的方法为将输入切分成一个个InputSplit
在Map过程中，程序会为每一个InputSplit调用map函数，这里即以空格作分隔符将单词切开。并以单词作为key，1作为value。需要特别指出的是，mapreduce的<key,value>无论是key还是value都是mapreduce预先定义好的格式，因此在wordcount这个程序中，我们要把String转换成text格式，int转换为IntWritable格式。如下：
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();

再做
word.set(tokenizer.nextToken());                         

将这些<key,value>对作为Map的结果传递下去
output.collect(word, one);


在Reduce过程中，程序会对每组<key,list of values>调用reduce函数，在我们这个程序中，只需让value相加即可以。最后调用output.collect输出Reduce结果。

以下是程序内容及注释：
package com.felix;  

import java.io.IOException;  
import java.util.Iterator;  
import java.util.StringTokenizer;  
 
import org.apache.hadoop.fs.Path;  
import org.apache.hadoop.io.IntWritable;  
import org.apache.hadoop.io.LongWritable;  
import org.apache.hadoop.io.Text;  
import org.apache.hadoop.mapred.FileInputFormat;  
import org.apache.hadoop.mapred.FileOutputFormat;  
import org.apache.hadoop.mapred.JobClient;  
import org.apache.hadoop.mapred.JobConf;  
import org.apache.hadoop.mapred.MapReduceBase;  
import org.apache.hadoop.mapred.Mapper;  
import org.apache.hadoop.mapred.OutputCollector;  
import org.apache.hadoop.mapred.Reducer;  
import org.apache.hadoop.mapred.Reporter;  
import org.apache.hadoop.mapred.TextInputFormat;  
import org.apache.hadoop.mapred.TextOutputFormat;  
/** 
*  
* 描述：WordCount explains by Felix 
* @author Hadoop Dev Group 
*/ 
public class WordCount  
{  
 
    /** 
     * MapReduceBase类:实现了Mapper和Reducer接口的基类（其中的方法只是实现接口，而未作任何事情） 
     * Mapper接口： 
     * WritableComparable接口：实现WritableComparable的类可以相互比较。所有被用作key的类应该实现此接口。 
     * Reporter 则可用于报告整个应用的运行进度，本例中未使用。  
     *  
     */ 
    public static class Map extends MapReduceBase implements 
            Mapper<LongWritable, Text, Text, IntWritable>   //设定了map函数输入的形式为longwritable<key>text<value>输出地形式为text<key>intwritable<value>
    {  
        /** 
         * LongWritable, IntWritable, Text 均是 Hadoop 中实现的用于封装 Java 数据类型的类，这些类实现了WritableComparable接口， 
         * 都能够被串行化从而便于在分布式环境中进行数据交换，你可以将它们分别视为long,int,String 的替代品。 
         */ 
        private final static IntWritable one = new IntWritable(1);   //定义一个intwritable型的常量，用来说明出现过一次
        private Text word = new Text();                        //定义一个text型的变量，用来保存单词
          
        /** 
         * Mapper接口中的map方法： 
         * void map(K1 key, V1 value, OutputCollector<K2,V2> output, Reporter reporter) 
         * 映射一个单个的输入k/v对到一个中间的k/v对 
         * 输出对不需要和输入对是相同的类型，输入对可以映射到0个或多个输出对。 
         * OutputCollector接口：收集Mapper和Reducer输出的<k,v>对。 
         * OutputCollector接口的collect(k, v)方法:增加一个(k,v)对到output 
         */ 
        public void map(LongWritable key, Text value,  
                OutputCollector<Text, IntWritable> output, Reporter reporter)   //map中的参变量说明map输入时的keyvalue对的形式，以及map输出和reduce接收的keyvalue数据类型
                throws IOException  
        {  
            String line = value.toString();   //将输入中的一行保存到line中
           StringTokenizer tokenizer = new StringTokenizer(line);   //将一行保存到准备切词的工具中
            while (tokenizer.hasMoreTokens())   //判断是否到一行的结束
            {  
                word.set(tokenizer.nextToken());  //设定key即word的值为从每一行切下来的单词  
                output.collect(word, one);       //设定map函数输出的keyvalue对
            }  
        }  
    }  
 
public static class Reduce extends MapReduceBase implements Reducer<Text, IntWritable, Text, IntWritable> //设定reduce函数中输入对的数据类型是text和intwritable，输出对的数据类型是text和intwritable
    {  
        public void reduce(Text key, Iterator<IntWritable> values,  
                OutputCollector<Text, IntWritable> output, Reporter reporter)   //设定reduce函数中输入对的数据类型是text和intwritable，输出对的数据类型是text和intwritable
                throws IOException  
        {  
            int sum = 0;  
            while (values.hasNext())        //计算同一个key下，所有value的总和
            {  
                sum += values.next().get();   //获取下一个value的值
            }  
            output.collect(key, new IntWritable(sum));   //收集reduce输出结果
        }  
    }  
 
    public static void main(String[] args) throws Exception  
    {  
        /** 
         * JobConf：map/reduce的job配置类，向hadoop框架描述map-reduce执行的工作 
         * 构造方法：JobConf()、JobConf(Class exampleClass)、JobConf(Configuration conf)等 
         */ 
        JobConf conf = new JobConf(WordCount.class);  
        conf.setJobName("wordcount");           //设置一个用户定义的job名称  
 
        conf.setOutputKeyClass(Text.class);    //为job的输出数据设置Key类  
        conf.setOutputValueClass(IntWritable.class);   //为job输出设置value类  
 
        conf.setMapperClass(Map.class);         //为job设置Mapper类  
        conf.setCombinerClass(Reduce.class);      //为job设置Combiner类  
        conf.setReducerClass(Reduce.class);        //为job设置Reduce类  
 
        conf.setInputFormat(TextInputFormat.class);    //为map-reduce任务设置InputFormat实现类  
        conf.setOutputFormat(TextOutputFormat.class);  //为map-reduce任务设置OutputFormat实现类  
 
       /** 
         * InputFormat描述map-reduce中对job的输入定义 
         * setInputPaths():为map-reduce job设置路径数组作为输入列表 
         * setInputPath()：为map-reduce job设置路径数组作为输出列表 
         */ 
        FileInputFormat.setInputPaths(conf, new Path(args[0]));  
        FileOutputFormat.setOutputPath(conf, new Path(args[1]));  
 
        JobClient.runJob(conf);         //运行一个job  
    }  
} 

1001 a+b per line:
a+b per line:
这道题目是我们编写的另一道mapreduce的入门题目，在这道题目中，你需要截取每行的第一个字符作为标志，并把这行其它的数据相加得到每行的和，将它们输出到文件中。
同样的，你可以设置SetInputFormat为TextInputFormat按行读入
在Map内处理每个InputSplit将每行切开，然后装换String类型为IntWritable类型。并以第一个数字作为key，其他数字作为value。
在Reduce内，将每个key对应的value值相加，并输出，这样，你就可以得到答案了。
1002 Sort:
Sort:
这道题目需要你取出不同文件中每行的数字，然后将他们排序输出到同一个文件中
在输入文件中，每行有且只有一个数字，同时他们都在相应数据类型（如int）的定义表示范围内。
四．其他题目介绍。
这下面列出的题目只是当前网站上的一些题目,因为我们将来会不断升级题目的内容，因此如果这部分内容与网站内容不同，请以网站内容为准。
1003 Data deduplication:
Data deduplication:
这道题目需要你按行读入每个文件中的数据，去除他们中的重复数据，然后将他们按照默认顺序输入到文件中。
1004 Single Table Join:
Single Table Join:
这道题目要求你进行单表连接，你需要找出表中的继承关系，比如a>b，b>c
那么a>c就是你需要找出的关系，这道题目的输入是一个<父-子>的表，需要你输出的是一张<祖父-孙>的表。
1005 Multi-table Join:
Multi-table Join:
这道题目与上道题目很类似，不同点是要求对两张表进行连接，你需要将addressID作为外码，对两张文件内的表进行连接，最后输出为<公司名称-所在地址>的一张表。
1006 Sum:
Sum:
这道题目要求你对超大整形数据进行相加。输入为多个文件，每个文件都有很多行，每行为一个非负数字，题目要求你将所有文件中所有行的数字加到一起，最后输出到文件中。
需要注意的是，这些数字是可以超出int类型表示范围的。
1007 WordCount Plus:
WordCount Plus:
这是wordcount的高级版本，在这个wordcount中，除了查找单词的功能，还要求你过滤掉标点符号，如”,”，”。”，”、”等，但是你不能过滤掉can‘t中的引号。