今天尝试自己写了一个map-reduce程序,感觉不错.程序完成的是wordcount的功能,代码贴出来纪念一下:
package com.wjy.hadoop; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat; import org.apache.hadoop.util.Tool; import org.apache.hadoop.util.ToolRunner; public class MyFirstHadoopTest extends Configured implements Tool{ public static class MyMapper extends Mapper<LongWritable,Text,Text,IntWritable>{ public void map(LongWritable key,Text value,Context context) throws IOException{ String str=value.toString(); try{ String temp[]=str.split(" "); context.write(new Text(temp[0]), new IntWritable(1)); context.write(new Text(temp[1]), new IntWritable(1)); }catch(ArrayIndexOutOfBoundsException e){ return; } catch (InterruptedException e) { // TODO Auto-generated catch block e.printStackTrace(); } } } public static class MyReducer extends Reducer<Text,IntWritable,Text,IntWritable>{ public void reduce (Text key,Iterable<IntWritable> values,Context context){ int count=0; for(IntWritable intNum : values){ count++; } try { context.write(key, new IntWritable(count)); } catch (IOException e) { // TODO Auto-generated catch block e.printStackTrace(); } catch (InterruptedException e) { // TODO Auto-generated catch block e.printStackTrace(); } } } public int run(String[] arg0) throws Exception { // TODO Auto-generated method stub Configuration conf=getConf(); Job job=new Job(conf,"com.wjy.hadoop.MyFirstHadoopTest"); job.setJarByClass(com.wjy.hadoop.MyFirstHadoopTest.class); FileInputFormat.addInputPath(job, new Path(arg0[0])); FileOutputFormat.setOutputPath(job, new Path(arg0[1])); job.setMapperClass(MyMapper.class); job.setReducerClass(MyReducer.class); job.setOutputFormatClass(TextOutputFormat.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); job.waitForCompletion(true); return job.isSuccessful()?0:1; } public static void main(String args[]){ try { int res=ToolRunner.run(new Configuration(), new MyFirstHadoopTest(),args); } catch (Exception e) { // TODO Auto-generated catch block e.printStackTrace(); } } }
ps:在run configuration中设置一下hdfs的路径作为程序的输入和输出:
hdfs://localhost:9000/user/root/in hdfs://localhost:9000/user/root/out
在arguments中填上上面.切记要保证程序运行之前out文件夹不存在.
当然也可以将程序打包成jar文件,执行:
root@wjy-Lenovo:/usr/local/hadoop-0.20.2# bin/hadoop jar /usr/local/FirstHadoopTest.jar in myout
root@wjy-Lenovo:/usr/local/hadoop-0.20.2# bin/hadoop dfs -cat ./myout/*
注意:在eclipse中配置hadoop的时候,DFS Master的端口号设置为core-site.xml文件中fs.default.name指定的端口号.
Map/Reduce Master的端口号设置为:mapred-site.xml文件中mapred.job.tracker指定的端口号.
相关推荐
描述中提到的“Map-Reduce-Generic框架的Spark执行程序”,意味着这是一个专门为Spark设计的MapReduce实现,可能是为了提高对传统MapReduce任务的兼容性或者优化性能。"通用jar"通常是指一个包含所有必要类和依赖的...
输出结果的第一行是各列的最小值,第二行是最大值,以此类推。 #### 作业流程 1. **MapReduce插件的下载和安装**: - 下载地址可能已过期或失效,请尝试查找最新的插件版本。安装过程中需要填写一些基本信息并...
标题中的"hadoop-training-map-reduce-example-4"表明这是一个关于Hadoop MapReduce的教程实例,很可能是第四个阶段或示例。Hadoop是Apache软件基金会的一个开源项目,它提供了分布式文件系统(HDFS)和MapReduce...
地图减少样本这是我的回购,其中包含一些map reduce代码示例。 每个都位于不同的Java包命名空间中。 对于每个样本,我都包含了一些使用mrunit(map-... 它读取输入文件并提取每行的第一个字符。 然后将该行写入与该字
在FP中,函数是第一类公民,可以作为参数传递,也可以作为返回值。Map和Reduce是FP中两个非常重要的操作。 Map函数用于将一个函数应用到一个集合的每个元素上,返回一个新的集合,其中包含应用该函数后的结果。在...
Hadoop的第一版包括了Hadoop分布式文件系统(HDFS)和Map-Reduce计算模型,并在2005年实现了在20个节点集群上的稳定运行。随后,Doug Cutting加入Yahoo!,Apache基金会于2006年开始独立开发HDFS和Map-Reduce,...
**开发第一个Map/Reduce程序** 1. 任务介绍:通常从简单的任务开始,比如实现上述的WordCount程序,这有助于理解Map和Reduce函数的职责。 2. Mapper函数定义:Mapper接收键值对作为输入,处理后生成新的键值对,作为...
在Reduce阶段,由于键相同的数据会被分发到同一个Reducer,因此可以在这个阶段完成联接操作。这种方法适用于小表与大表之间的联接,小表可以完全加载到内存中,而大表则按块处理。 2. **使用Combiner优化**:...
Map函数将文档内容分割成单词,对每个单词计数,并生成中间键值对,其中键是单词,值是1,表示该单词出现一次。 Reduce阶段是另一个用户定义的函数,它接收所有具有相同中间键的值集合,并将它们合并成一个或零个...
Mapper是MapReduce的第一阶段,它的主要任务是对输入数据进行处理,将其转化为键值对(key-value pairs)形式。在给定的描述中,提到输入数据是从HDFS导入并通过Sqoop的,通常这些数据是以行格式存储,字段之间用...
因此,它不支持计算密集型的应用程序,以及多个应用程序之间的依赖关系,后一个应用程序的输入需要前一个程序的输出。对于这些限制,新一代的Apache Hadoop正在研发中,引入了YARN(Yet Another Resource Negotiator...
1. Map阶段:在这个阶段,原始输入数据被分割成多个小块(Split),每个Split会被分配到集群的不同节点上,由Mapper任务进行处理。Mapper接收键值对输入,执行用户定义的Map函数,将输入数据转换为一系列中间键值对...
Map Reduce程序可查找两个朋友之间的共同朋友列表。 数据的格式为:P选项卡F1,F2,F3 ..... 2.前十对好友 Mapreduce程序可查找前10个好友对,其中最大的共同好友数。 使用与第一个程序相同的数据。 程序使用作业...
在本文中,我们将深入探讨如何在Eclipse环境中编写并运行你的第一个MapReduce程序,这是一个针对Hadoop初学者的教程。Hadoop是一个开源框架,用于处理和存储大量数据,而MapReduce是Hadoop的核心计算模型,它将...
类中的函数称为方法,而方法的第一个参数通常命名为`self`,代表该类的实例。 - **构造器与析构器**: 构造器`__init__()`用于初始化对象,而析构器`__del__()`在对象被销毁时调用。 - **继承与多态**: 子类可以通过...
本文为第一部分,将介绍Spark RDD中与Map和Reduce相关的API中。 如何创建RDD? RDD可以从普通数组创建出来,也可以从文件系统或者HDFS中的文件创建出来。 举例:从普通数组创建RDD,里面包含了1到9
- `WordCountMapper` 类实现了Mapper接口,其`map()`方法中,将输入的每一行文本分割成单词,对每个单词输出一个键值对(单词,1)。 - `WordCountReducer` 类实现了Reducer接口,其`reduce()`方法中,对相同的键...
【标题】"第一个Kotlin程序"揭示了我们即将探索的是Kotlin编程语言的基础入门知识。Kotlin是一种现代、静态类型的编程语言,由JetBrains开发,主要用于Android应用开发、服务器端编程以及Web应用等多领域。它以其...