chp5_MapReduce应用开发_20111011

 

MapReduce应用开发

1.        MapReduce程序开发步骤

编写map 和 reduce 程序–> 单元测试 -> 编写驱动程序进行验证-> 本地数据集调试 ->  部署到集群运行

 

用到的工具：

Junit、Mockito、Ant

 

2.        使用Configuration

关键点：

1、  Configuration类可以加载配置文件，包括系统的和自定义的

2、  addResource方法后面的配置文件会覆盖前面的

3、  配置文件的几个特性：name、value、description、final、${} 引用

4、  系统属性（System.setProperty）中的优先级高于源文件中的优先级

代码：

其中，添加配置文件最好使用 Path对象的方法，否则会找不到配置文件。注意黄色背景内容

 

public static void main(String[]args) {

       // TODO Auto-generatedmethod stub

 

       String baseDir = Thread.currentThread().getContextClassLoader()

                .getResource("").getPath().substring(1)+ "demo/chp5/conf-1.xml";

       String fileStr = newFile(baseDir).getAbsolutePath();  

       Path filePath = newPath(baseDir);

       System.out.println("filePath="+filePath);

 

       Configuration conf = new Configuration();

       conf.addResource(filePath);

       //conf.addResource("conf-2.xml");    //后面添加的会覆盖前面的

 

       System.out.println(conf.get("color"));

       System.out.println(conf.get("fs.default.name"));

       }

 

3.        环境准备

1、  尽量保证运行和程序分离，也就是运行环境、运行程序、运行数据、配置文件之间的分离存放。

2、  Hadoop.job.ugi (用户标识)

 

辅助类：GenericOptionsParser，Tool 和 ToolRunner

         GenericOptionsParser：解释常用命令选项

         Tool接口，ToolRunner：运行应用程序，内部调用GenericOptionsParser

 

         通过上面的方式，构建一个任务的执行框架，代码样例如下：

     public classConfigurationPrinter extends Configured implements Tool {

 

  //静态构造函数

  static{

 

       Configuration.addDefaultResource("hdfs-default.xml");

  }

  /* (non-Javadoc)

   * @seeorg.apache.hadoop.util.Tool#run(java.lang.String[])

   */

  @Override

  public int run(String[] arg0) throws Exception{

       // TODO Auto-generated method stub

      

       Configuration conf = getConf();

       for(Entry<String,String> entry :conf){

            System.out.printf("%s=%s\n",entry.getKey(),entry.getValue());

       }

       return 0;

  }

  /**

   * @paramargs

   * @throwsException

   */

  public static void main(String[] args) throwsException {

       // TODO Auto-generated method stub

       int exitCode = ToolRunner.run(newConfigurationPrinter(), args);

       System.exit(exitCode);

  }

 

}

 

4.        程序开发及测试

a)        编写单元测试

使用Mockito框架模拟进行测试。

b)       运行的代码框架包括：

驱动程序：XXXDriver，运行的主程序

Mapper：XXXMapper，mapper的程序

Reducer：XXXReducer，reducer的程序

-------------------------------------------------------------------------------------------------------------------

 

作者：CNZQS|JesseZhang  个人博客：CNZQS(http://www.cnzqs.com)

版权声明：除非注明，文章均为原创，可以任意转载，转载时请务必以超链接形式标明文章原始出处和作者信息及本声明 

--------------------------------------------------------------------------------------------------------------------