`

自己写的第一个map-reduce程序

 
阅读更多

      今天尝试自己写了一个map-reduce程序,感觉不错.程序完成的是wordcount的功能,代码贴出来纪念一下:

package com.wjy.hadoop;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

public class MyFirstHadoopTest extends Configured implements Tool{

	public static class MyMapper extends Mapper<LongWritable,Text,Text,IntWritable>{
		public void map(LongWritable key,Text value,Context context) throws IOException{
			String str=value.toString();
			try{
				String temp[]=str.split(" ");
				context.write(new Text(temp[0]), new IntWritable(1));
				context.write(new Text(temp[1]), new IntWritable(1));
			}catch(ArrayIndexOutOfBoundsException e){
				return;
			} catch (InterruptedException e) {
				// TODO Auto-generated catch block
				e.printStackTrace();
			}
		}
	}
	
	public static class MyReducer extends Reducer<Text,IntWritable,Text,IntWritable>{
		public void reduce (Text key,Iterable<IntWritable> values,Context context){
			int count=0;
			for(IntWritable intNum : values){
				count++;
			}
			try {
				context.write(key, new IntWritable(count));
			} catch (IOException e) {
				// TODO Auto-generated catch block
				e.printStackTrace();
			} catch (InterruptedException e) {
				// TODO Auto-generated catch block
				e.printStackTrace();
			}
		}
	}
	
	public int run(String[] arg0) throws Exception {
		// TODO Auto-generated method stub
		Configuration conf=getConf();
		Job job=new Job(conf,"com.wjy.hadoop.MyFirstHadoopTest");
		job.setJarByClass(com.wjy.hadoop.MyFirstHadoopTest.class);
		
		FileInputFormat.addInputPath(job, new Path(arg0[0]));
		FileOutputFormat.setOutputPath(job, new Path(arg0[1]));
		
		job.setMapperClass(MyMapper.class);
		job.setReducerClass(MyReducer.class);
		job.setOutputFormatClass(TextOutputFormat.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(IntWritable.class);
		
		job.waitForCompletion(true);
		
		return job.isSuccessful()?0:1;
	}
	
	public static void main(String args[]){
		try {
			int res=ToolRunner.run(new Configuration(), new MyFirstHadoopTest(),args);
		} catch (Exception e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
		
	}
	
}

 ps:在run configuration中设置一下hdfs的路径作为程序的输入和输出:

hdfs://localhost:9000/user/root/in hdfs://localhost:9000/user/root/out

在arguments中填上上面.切记要保证程序运行之前out文件夹不存在.

 

   当然也可以将程序打包成jar文件,执行:

root@wjy-Lenovo:/usr/local/hadoop-0.20.2# bin/hadoop jar /usr/local/FirstHadoopTest.jar in myout

root@wjy-Lenovo:/usr/local/hadoop-0.20.2# bin/hadoop dfs -cat ./myout/*

 

注意:在eclipse中配置hadoop的时候,DFS Master的端口号设置为core-site.xml文件中fs.default.name指定的端口号.

Map/Reduce Master的端口号设置为:mapred-site.xml文件中mapred.job.tracker指定的端口号.

分享到:
评论

相关推荐

    map-reduce-exec-spark

    描述中提到的“Map-Reduce-Generic框架的Spark执行程序”,意味着这是一个专门为Spark设计的MapReduce实现,可能是为了提高对传统MapReduce任务的兼容性或者优化性能。"通用jar"通常是指一个包含所有必要类和依赖的...

    在Eclipse下的Hadoop0.17.0(MapReduce)的统计作业指导书

    输出结果的第一行是各列的最小值,第二行是最大值,以此类推。 #### 作业流程 1. **MapReduce插件的下载和安装**: - 下载地址可能已过期或失效,请尝试查找最新的插件版本。安装过程中需要填写一些基本信息并...

    hadoop-training-map-reduce-example-4

    标题中的"hadoop-training-map-reduce-example-4"表明这是一个关于Hadoop MapReduce的教程实例,很可能是第四个阶段或示例。Hadoop是Apache软件基金会的一个开源项目,它提供了分布式文件系统(HDFS)和MapReduce...

    map-reduce-samples:实验图简化代码

    地图减少样本这是我的回购,其中包含一些map reduce代码示例。 每个都位于不同的Java包命名空间中。 对于每个样本,我都包含了一些使用mrunit(map-... 它读取输入文件并提取每行的第一个字符。 然后将该行写入与该字

    fp-map-reduce:锈像fp迭代器实现的c ++

    在FP中,函数是第一类公民,可以作为参数传递,也可以作为返回值。Map和Reduce是FP中两个非常重要的操作。 Map函数用于将一个函数应用到一个集合的每个元素上,返回一个新的集合,其中包含应用该函数后的结果。在...

    一种基于Hadoop 的云计算平台搭建与性能

    Hadoop的第一版包括了Hadoop分布式文件系统(HDFS)和Map-Reduce计算模型,并在2005年实现了在20个节点集群上的稳定运行。随后,Doug Cutting加入Yahoo!,Apache基金会于2006年开始独立开发HDFS和Map-Reduce,...

    Windows平台下Hadoop的Map/Reduce开发

    **开发第一个Map/Reduce程序** 1. 任务介绍:通常从简单的任务开始,比如实现上述的WordCount程序,这有助于理解Map和Reduce函数的职责。 2. Mapper函数定义:Mapper接收键值对作为输入,处理后生成新的键值对,作为...

    在Hadoop Map-Reduce中实施联接

    在Reduce阶段,由于键相同的数据会被分发到同一个Reducer,因此可以在这个阶段完成联接操作。这种方法适用于小表与大表之间的联接,小表可以完全加载到内存中,而大表则按块处理。 2. **使用Combiner优化**:...

    Google Map Reduce 中文版 论文

    Map函数将文档内容分割成单词,对每个单词计数,并生成中间键值对,其中键是单词,值是1,表示该单词出现一次。 Reduce阶段是另一个用户定义的函数,它接收所有具有相同中间键的值集合,并将它们合并成一个或零个...

    hadoop之map/reduce

    Mapper是MapReduce的第一阶段,它的主要任务是对输入数据进行处理,将其转化为键值对(key-value pairs)形式。在给定的描述中,提到输入数据是从HDFS导入并通过Sqoop的,通常这些数据是以行格式存储,字段之间用...

    第02节:hadoop精讲之map reduce原理及代码.pdf

    因此,它不支持计算密集型的应用程序,以及多个应用程序之间的依赖关系,后一个应用程序的输入需要前一个程序的输出。对于这些限制,新一代的Apache Hadoop正在研发中,引入了YARN(Yet Another Resource Negotiator...

    第02节:hadoop精讲之map reduce原理及代码.rar

    1. Map阶段:在这个阶段,原始输入数据被分割成多个小块(Split),每个Split会被分配到集群的不同节点上,由Mapper任务进行处理。Mapper接收键值对输入,执行用户定义的Map函数,将输入数据转换为一系列中间键值对...

    Big-Data-Experiments:Hadoop和Map Reduce中的大数据分配和项目

    Map Reduce程序可查找两个朋友之间的共同朋友列表。 数据的格式为:P选项卡F1,F2,F3 ..... 2.前十对好友 Mapreduce程序可查找前10个好友对,其中最大的共同好友数。 使用与第一个程序相同的数据。 程序使用作业...

    Hadoop学习全程记录-在Eclipse中运行第一个MapReduce程序.docx

    在本文中,我们将深入探讨如何在Eclipse环境中编写并运行你的第一个MapReduce程序,这是一个针对Hadoop初学者的教程。Hadoop是一个开源框架,用于处理和存储大量数据,而MapReduce是Hadoop的核心计算模型,它将...

    Python核心技术进阶训练篇

    类中的函数称为方法,而方法的第一个参数通常命名为`self`,代表该类的实例。 - **构造器与析构器**: 构造器`__init__()`用于初始化对象,而析构器`__del__()`在对象被销毁时调用。 - **继承与多态**: 子类可以通过...

    浅谈Spark RDD API中的Map和Reduce

    本文为第一部分,将介绍Spark RDD中与Map和Reduce相关的API中。 如何创建RDD? RDD可以从普通数组创建出来,也可以从文件系统或者HDFS中的文件创建出来。 举例:从普通数组创建RDD,里面包含了1到9

    第8节、MapReduce1

    - `WordCountMapper` 类实现了Mapper接口,其`map()`方法中,将输入的每一行文本分割成单词,对每个单词输出一个键值对(单词,1)。 - `WordCountReducer` 类实现了Reducer接口,其`reduce()`方法中,对相同的键...

    第一个KotLin程序

    【标题】"第一个Kotlin程序"揭示了我们即将探索的是Kotlin编程语言的基础入门知识。Kotlin是一种现代、静态类型的编程语言,由JetBrains开发,主要用于Android应用开发、服务器端编程以及Web应用等多领域。它以其...

Global site tag (gtag.js) - Google Analytics