Hadoop应用系列2--MapReduce原理浅析(上)

我们以《Hadoop权威指南》这本书上的例子，来分析一下，MapReduce是如何工作的。
我们引用它分析气温的例子。这个例子还是非常经典的，我个人认为小缺点就是，没有对传统的程序是如何工作的进行对比，如果加入此项，它将是一个完美的东西，现在就让我们，来完美它。

手写我们写一段Java程序，实现相同的功能<分析1901年和1902年最高气温>,当然程序略加改动就可以分析最低气温，在改动一下，就可以高和低同时出现，废话了，呵呵。

这里需要使用气温的数据， 我会提供下载链接。

我们提出一行数据，看看，年份在哪里

0029029070999991901010106004+64333+023450FM-12+000599999V0202701N015919999999N0000001N9-00781+99999102001ADDGF108991999999999999999999

package org.pcwl;

/**
 * @author QQ:81739279 e-mail: [e-mail] 
 * 需要的基本知识 java.lang.String API
 * 本段程序的目的是找到我们要使用的数据在什么地方
 * 注意: NCDC的气温数据精确到小数点后1为
 */
public class MaxTemperatureReady {

	/** 在1901年数据中，复制出来第一行，用于寻找年份、气温 */
	private static final String data = "0029029070999991901010106004+64333+023450FM-12+000599999V0202701N015919999999N0000001N9-00781+99999102001ADDGF108991999999999999999999";
	
	public static void main(String[] args) {
		
		// 显示年份 运行结果 15 ，我们需要4为，至19 
		System.out.println(data.indexOf("1901"));
		
		// 气温，是一个数字，有正数和负数， 在字符串中，找看看，+/-在哪里 ， 以确定截取区域
		// 在这里我没发现 有 +64333+025450FM-12+000599999V020........N9-00781+
		// 结论， N0000001N9至+这个位置之间是气温， 找他的位置
		// 运行结果 77 加上这10位，结果为87 ， 如果低87为是+不需要 下一个符号+ 之前是5为
		System.out.println(data.indexOf("N0000001N9"));
		
		// 找一条看看
		String fmt = "%s年%d度";
		// 注意:不含92 也就是 这里能娶到-0078 零下7.8的意思, 如果零下78.1冻死人诶~~~
		System.out.println(String.format(fmt, data.substring(15,19), Integer.parseInt(data.substring(87, 92)) ));

		// 好了, 数据如何提取我们已经知道了.
	}

}

开始编写程序来分析最高气温吧.

package org.pcwl;
import java.io.BufferedReader;
import java.io.DataOutputStream;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.FileReader;
import java.io.IOException;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.Iterator;
import java.util.List;
import java.util.Map;

/**
 * 
 * @author E-mail:[e-mail]
 * 计算最高气温, 本程序分2个部分, 一个部分读取数据,一个部分对数据进行计算,输出结果
 */
public class JavaMaxTemperature {
	
	/** 用于存储读取到的年份和气温数据
	 *  一年中有很多天<valueList<Integer>>,
	 *  年份是固定的几个<key>
	 */
	private static Map<String, List<Integer>> temperatureMap= new HashMap<String, List<Integer>>();
	private static File outDirectory = null;
	private static DataOutputStream dos = null;
	/**
	 * @throws IOException 
	 */
	public static void main(String[] args) throws IOException {
		if(args.length != 2){
			System.out.println("请输入数据来源和数据目标");
		}
		/* 创建目标文件*/
		outDirectory = new File(args[1]);
		File outFile = new File(outDirectory, "part-0000");
		dos = new DataOutputStream(new FileOutputStream(outFile));
		
		/* 读取指定文件夹下的文件 */
		File inDirectory = new File(args[0]);
		for(File inFile : inDirectory.listFiles()){
			readData(inFile);
		}
		
		/* 关闭输出流 */
		dos.close();
		
	}
	/**
	 * 读取数据, 把年份作为map的Key, List<Integer>存放每一天的气温数据
	 * @param file
	 * @throws IOException
	 */
	static void readData(File file) throws IOException {
		BufferedReader br = new BufferedReader(new FileReader(file));
		String line = null;
		while(null != (line=br.readLine())){
			String year = line.substring(15, 19);
			int temperature;
			if(line.charAt(87) == '+'){
				temperature = Integer.parseInt(line.substring(88, 92));
			}else{
				temperature = Integer.parseInt(line.substring(87, 92));
			}
			/* 运行程序发现1901结果为9999, 黄金都能融化,显然999是个错误的数据,排除 */
			if(temperature != 9999 ){
				addYearAndTemperature(year, temperature);
			}
		}
		
		out();
	}
	/**
	 * 添加年份和气温数据到map中
	 * @param year
	 * @param temperature
	 */
	static void addYearAndTemperature(String year, int temperature){
		List<Integer> list;
		if(temperatureMap.containsKey(year)){
			list = temperatureMap.get(year);
		}else{
			list = new ArrayList<Integer>();
		}
		list.add(temperature);
		temperatureMap.put(year, list);
		
	}
	/**
	 * 计算最高气温并且输出
	 * @throws IOException 
	 */
	static void out() throws IOException{
		int max = Integer.MIN_VALUE;
		String year = null;
		for(Iterator<String> it = temperatureMap.keySet().iterator(); it.hasNext();){
			year= it.next();
			List<Integer> temperatures = temperatureMap.get(year);
			for(Integer i : temperatures){
				max = Math.max(max, i);
			}
		}
		dos.writeUTF(year +"\t" + max+"\n");
		
		temperatureMap.clear();
	}
}

src为代码,data为数据

宝宝醒了, 等会再来写 MapReduce,请期待.....

评论

3 楼 Tracy-Lcz 2013-01-26  

看了文章，如果说是《《MapReduce原理浅析(上)》》，有点扯的感觉，希望继续加油~共同进步。

2 楼 sophie1162 2013-01-26  

老师，齐院长飘过~  嘿嘿

1 楼 sophie1162 2013-01-26