`
lanhuidong
  • 浏览: 227302 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

HelloMapReduce

阅读更多

开发环境:eclipse-jee-indigo-SR2-linux-gtk + hadoop-0.20.205.0

1.安装eclipse,直接解压eclipse-jee-indigo-SR2-linux-gtk.tar.gz即可,如果启动时提示找不到jre或者jdk,可以进入/eclipse目录,执行如下命令:

mkdir jre

cd jre

ln -s $JAVA_HOME/bin

 

2.安装hadoop的eclipse插件,在/hadoop-0.20.205.0/contrib/eclipse-plugin/目录下将jar文件复制到/eclipse/plugins目录下,然后重启eclipse即可

 

3.配置Hadoop安装目录:

 

4.创建Hadoop项目

File->New->Other,找到Map/Reduce Project,点击next,如何项目名称,比如HelloMapReduce,然后点击Finish,项目创建完成



 

5.编写java文件

   该程序从data.txt文件中找出每年的最大值,data.txt中的每行表示年份和对应的值

 

package com.nexusy.hadoop;

import java.io.IOException;

import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class HelloMapReduce {
	
	static class MyMapper extends Mapper<LongWritable, Text, Text, IntWritable>{

		@Override
		protected void map(LongWritable key, Text value, Context context)
				throws IOException, InterruptedException {
			String line = value.toString();
			String year = line.substring(0, 4);
			String num = line.substring(5);
			context.write(new Text(year), new IntWritable(Integer.parseInt(num)));
		}
		
	}
	
	static class MyReducer extends Reducer<Text, IntWritable, Text, IntWritable>{

		@Override
		protected void reduce(Text key, Iterable<IntWritable> values, Context context)
				throws IOException, InterruptedException {
			int maxValue = Integer.MIN_VALUE;
			for(IntWritable value : values){
				maxValue = Math.max(maxValue, value.get());
			}
			context.write(key, new IntWritable(maxValue));
		}
		
	}
	
	public static void main(String[] args) throws Exception{
		Job job = new Job();
		job.setJarByClass(HelloMapReduce.class);
		
		FileInputFormat.addInputPath(job, new Path("data.txt"));
		FileOutputFormat.setOutputPath(job, new Path("output"));
		
		job.setMapperClass(MyMapper.class);
		job.setReducerClass(MyReducer.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(IntWritable.class);
		
		System.exit(job.waitForCompletion(true) ? 0 : 1);
	}

}

 

6.在项目根目录下放一个data.txt文件,内容如下

2011 33
2011 600
2011 77
2011 33
2011 665
2011 123
2012 187
2012 25
2012 753
2012 134
2012 234
2012 575
2012 332
2012 100

 

7.运行第5步创建的.java文件

右键选择Run As->Run On Hadoop,然后选择Define a new hadoop server location,并点击next,输入Location Name,然后点击Finish即可。

 

8.控制台输出如下

12/03/04 16:46:30 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
12/03/04 16:46:30 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
12/03/04 16:46:30 INFO input.FileInputFormat: Total input paths to process : 1
12/03/04 16:46:30 INFO mapred.JobClient: Running job: job_local_0001
12/03/04 16:46:31 INFO util.ProcessTree: setsid exited with exit code 0
12/03/04 16:46:31 INFO mapred.Task:  Using ResourceCalculatorPlugin : org.apache.hadoop.util.LinuxResourceCalculatorPlugin@138c63
12/03/04 16:46:31 INFO mapred.MapTask: io.sort.mb = 100
12/03/04 16:46:31 INFO mapred.JobClient:  map 0% reduce 0%
12/03/04 16:46:36 INFO mapred.MapTask: data buffer = 79691776/99614720
12/03/04 16:46:36 INFO mapred.MapTask: record buffer = 262144/327680
12/03/04 16:46:36 INFO mapred.MapTask: Starting flush of map output
12/03/04 16:46:36 INFO mapred.MapTask: Finished spill 0
12/03/04 16:46:36 INFO mapred.Task: Task:attempt_local_0001_m_000000_0 is done. And is in the process of commiting
12/03/04 16:46:39 INFO mapred.LocalJobRunner: 
12/03/04 16:46:39 INFO mapred.Task: Task 'attempt_local_0001_m_000000_0' done.
12/03/04 16:46:39 INFO mapred.JobClient:  map 100% reduce 0%
12/03/04 16:46:39 INFO mapred.Task:  Using ResourceCalculatorPlugin : org.apache.hadoop.util.LinuxResourceCalculatorPlugin@1cef4f7
12/03/04 16:46:39 INFO mapred.LocalJobRunner: 
12/03/04 16:46:39 INFO mapred.Merger: Merging 1 sorted segments
12/03/04 16:46:39 INFO mapred.Merger: Down to the last merge-pass, with 1 segments left of total size: 156 bytes
12/03/04 16:46:39 INFO mapred.LocalJobRunner: 
12/03/04 16:46:39 INFO mapred.Task: Task:attempt_local_0001_r_000000_0 is done. And is in the process of commiting
12/03/04 16:46:39 INFO mapred.LocalJobRunner: 
12/03/04 16:46:39 INFO mapred.Task: Task attempt_local_0001_r_000000_0 is allowed to commit now
12/03/04 16:46:39 INFO output.FileOutputCommitter: Saved output of task 'attempt_local_0001_r_000000_0' to output
12/03/04 16:46:42 INFO mapred.LocalJobRunner: reduce > reduce
12/03/04 16:46:42 INFO mapred.Task: Task 'attempt_local_0001_r_000000_0' done.
12/03/04 16:46:43 INFO mapred.JobClient:  map 100% reduce 100%
12/03/04 16:46:43 INFO mapred.JobClient: Job complete: job_local_0001
12/03/04 16:46:43 INFO mapred.JobClient: Counters: 20
12/03/04 16:46:43 INFO mapred.JobClient:   File Output Format Counters 
12/03/04 16:46:43 INFO mapred.JobClient:     Bytes Written=30
12/03/04 16:46:43 INFO mapred.JobClient:   FileSystemCounters
12/03/04 16:46:43 INFO mapred.JobClient:     FILE_BYTES_READ=11442
12/03/04 16:46:43 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=78488
12/03/04 16:46:43 INFO mapred.JobClient:   File Input Format Counters 
12/03/04 16:46:43 INFO mapred.JobClient:     Bytes Read=121
12/03/04 16:46:43 INFO mapred.JobClient:   Map-Reduce Framework
12/03/04 16:46:43 INFO mapred.JobClient:     Map output materialized bytes=160
12/03/04 16:46:43 INFO mapred.JobClient:     Map input records=14
12/03/04 16:46:43 INFO mapred.JobClient:     Reduce shuffle bytes=0
12/03/04 16:46:43 INFO mapred.JobClient:     Spilled Records=28
12/03/04 16:46:43 INFO mapred.JobClient:     Map output bytes=126
12/03/04 16:46:43 INFO mapred.JobClient:     Total committed heap usage (bytes)=279183360
12/03/04 16:46:43 INFO mapred.JobClient:     CPU time spent (ms)=0
12/03/04 16:46:43 INFO mapred.JobClient:     SPLIT_RAW_BYTES=113
12/03/04 16:46:43 INFO mapred.JobClient:     Combine input records=0
12/03/04 16:46:43 INFO mapred.JobClient:     Reduce input records=14
12/03/04 16:46:43 INFO mapred.JobClient:     Reduce input groups=2
12/03/04 16:46:43 INFO mapred.JobClient:     Combine output records=0
12/03/04 16:46:43 INFO mapred.JobClient:     Physical memory (bytes) snapshot=0
12/03/04 16:46:43 INFO mapred.JobClient:     Reduce output records=2
12/03/04 16:46:43 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=0
12/03/04 16:46:43 INFO mapred.JobClient:     Map output records=14

 

9.最后在项目根目录下生成output目录及两个文件_SUCCESS和part-r-00000,如下图所示
   

 

PS:

1.如果JVM的内存太小将不能运行mapreduce任务,本人开始时虚拟机只有512MB内存,启动hadoop和eclipse后只剩几十MB内存,于是报OutOfMemeryError错误,将虚拟机内存调整为2GB后正常运行。

2.伪分布模式下启动Hadoop时,要先执行hadoop namenode -format,然后才是start-dfs.sh,start-mapred.sh
 
 

  • 大小: 7.5 KB
  • 大小: 24 KB
  • 大小: 40.6 KB
  • 大小: 52.1 KB
分享到:
评论

相关推荐

    通过实例让你真正明白mapreduce填空式、分布(分割)编程

    在这个例子中,Mapper每次接收到的是一行文本数据,即`"hellowww.aboutyun.comhelloworld"`、`"hellohadoop"`和`"hellomapreduce"`中的任意一行。 - 该参数的类型是`Text`,这意味着它可以是一个字符串。因此,在本...

    Hadoop集群部署及测试实验(三).docx

    - `File3.txt` 内容:“Hello MapReduce bye MapReduce”。 **步骤2:配置Eclipse集成开发环境** - **下载并安装Hadoop-Eclipse-Plugin插件:** - 从GitHub或指定链接下载hadoop2x-eclipse-plugin。 - 将`hadoop...

    MapReduce版的HelloWorld

    "MapReduce版的HelloWorld"就是学习和理解MapReduce基本原理的一个入门示例,类似于编程语言中的“Hello, World!”程序。 在Map阶段,原始数据被分割成多个小块(split),并分配到集群的不同节点上进行并行处理。...

    hadoop mapreduce helloworld 能调试

    "Hadoop MapReduce HelloWorld 能调试" 的主题意味着我们将深入理解如何设置、运行以及调试 MapReduce 任务,特别是针对入门级的 "wordcount" 示例。 MapReduce 分为两个主要阶段:Map 阶段和 Reduce 阶段。Map ...

    实验项目 MapReduce 编程

    实验项目“MapReduce 编程”旨在让学生深入理解并熟练运用MapReduce编程模型,这是大数据处理领域中的核心技术之一。实验内容涵盖了从启动全分布模式的Hadoop集群到编写、运行和分析MapReduce应用程序的全过程。 ...

    MapReduce的两个简单例子

    MapReduce是Google提出的一种分布式计算模型,被广泛应用于大数据处理领域,尤其是在Hadoop框架下。本文将通过两个简单的MapReduce实例来深入理解这一技术的工作原理和应用。 首先,我们来看第一个例子:WordCount...

    mapreduce的wordCount案例

    MapReduce是Apache Hadoop框架中的一个核心组件,用于处理和生成大数据集。WordCount是MapReduce最基础且经典的示例,它演示了如何利用MapReduce处理文本数据并统计每个单词出现的次数。在这个案例中,我们将深入...

    MapReduce实例分析:单词计数

    单词计数是最简单也是最能体现 MapReduce 思想的程序之一,可以称为 MapReduce 版“Hello World”。单词计数的主要功能是统计一系列文本文件中每个单词出现的次数。本节通过单词计数实例来阐述采用 MapReduce 解决...

    MapReduce_mapReduce_

    MapReduce--1--入门程序WordCountMapReduce界的helloworld程序就是WordCount程序。所谓WordCount,就是单词计数,就是用来统计一篇或者一堆文本文件中的各单词的出现次数。

    集群MapReduce的包.rar

    在IT行业中,集群MapReduce是一种分布式计算模型,广泛应用于大数据处理和分析,特别是在云存储环境中。这个名为"集群MapReduce的包.rar"的压缩文件很可能包含了一组资源,用于教授或实现MapReduce的单词计数功能。...

    MapReduce实现二度好友推荐算法

    描述中提到的输出结果"cat hello:2,hadoop:2,mr:1,world:1"可能表示这是对示例数据的处理结果,其中"hello", "hadoop", "mr", "world"代表不同的用户ID,后面的数字表示该用户拥有二度好友的数量。 总的来说,...

    hadoop MapReduce实例解析

    WordCount程序是MapReduce最简单也是最能体现MapReduce思想的程序之一,可以称为MapReduce版"Hello World"。该程序的主要功能是:统计一系列文本文件中每个单词出现的次数。 WordCount程序的执行过程可以分为三步:...

    大数据MapReduce实现Word Count

    在大数据处理领域,Hadoop MapReduce是一个至关重要的框架,它为海量数据的并行计算提供了高效、可扩展的解决方案。本教程将详细讲解如何利用MapReduce实现Word Count,这是一个经典的例子,用于展示分布式计算的...

    MapReduce源码分析完整版

    ### MapReduce源码分析知识点概览 #### 一、MapReduce概述 MapReduce是一种由Google设计的分布式数据处理模型,其核心思想在于将大规模的数据处理任务拆分成一系列较小的子任务,通过分布式集群来并行处理。...

    【MapReduce篇01】MapReduce之入门概述1

    在Hello World案例中,我们实现了一个简单的单词计数程序。Mapper接收文本文件的每一行作为输入,通过空格切割单词,然后为每个单词创建一个键值对,键是单词本身,值是1,表示该单词出现了一次。Reducer阶段则负责...

    hadoop-mapreduce:hadoop MapReduce

    hadoop jar /Users/hello/Desktop/accessMR.jar accessMR.AccessMR /logs/access.log /user/output检查输出。 hadoop fs -cat /user/output/part-00000运行hadoop命令的快捷方式: 编辑〜/ .profile并设置h

    Hadoop mapreduce 实现NaiveBayes朴素贝叶斯

    例如,键可以是"hello",值是5(表示该词在文档中出现了5次)。同时,还需要记录文档总数,以便后续计算先验概率。 2. **Shuffle和Sort阶段**: 这个阶段,系统会根据键进行排序,并将相同键的值聚合到一起。对于 ...

    4-0大数据技术之Hadoop(MapReduce) (1)

    【Hadoop MapReduce 概述】 MapReduce是Hadoop生态系统中的核心组件之一,...在本地测试中,用户需要编写对应的Mapper、Reducer和Driver类,然后对给定的文本文件(如hello.txt)进行处理,输出每个单词及其出现次数。

Global site tag (gtag.js) - Google Analytics