package com.hadoop.learn.test;
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
import org.apache.log4j.Logger;
/**
* 运行测试程序
*
* @author yongboy
* @date 2012-04-16
*/
public class WordCountTest {
private static final Logger log = Logger.getLogger(WordCountTest.class);
public static class TokenizerMapper extends
Mapper<Object, Text, Text, IntWritable> {
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
public void map(Object key, Text value, Context context)
throws IOException, InterruptedException {
log.info("Map key : " + key);
log.info("Map value : " + value);
StringTokenizer itr = new StringTokenizer(value.toString());
while (itr.hasMoreTokens()) {
String wordStr = itr.nextToken();
word.set(wordStr);
log.info("Map word : " + wordStr);
context.write(word, one);
}
}
}
public static class IntSumReducer extends
Reducer<Text, IntWritable, Text, IntWritable> {
private IntWritable result = new IntWritable();
public void reduce(Text key, Iterable<IntWritable> values,
Context context) throws IOException, InterruptedException {
log.info("Reduce key : " + key);
log.info("Reduce value : " + values);
int sum = 0;
for (IntWritable val : values) {
sum += val.get();
}
result.set(sum);
log.info("Reduce sum : " + sum);
context.write(key, result);
}
}
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
String[] otherArgs = new GenericOptionsParser(conf, args)
.getRemainingArgs();
if (otherArgs.length != 2) {
System.err.println("Usage: WordCountTest <in> <out>");
System.exit(2);
}
Job job = new Job(conf, "word count");
job.setJarByClass(WordCountTest.class);
job.setMapperClass(TokenizerMapper.class);
job.setCombinerClass(IntSumReducer.class);
job.setReducerClass(IntSumReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}
相关推荐
二、Hadoop学习笔记之五：使用Eclipse插件 Eclipse插件是开发Hadoop应用的重要工具，它提供了集成的开发环境，使得开发者可以更方便地编写、调试和运行Hadoop程序。通过插件，用户可以创建Hadoop项目，编写MapReduce...
本篇学习笔记主要介绍了如何在Eclipse中配置和编译Hadoop项目。 首先，我们需要创建一个新的Java项目来导入Hadoop的源代码。在Eclipse的Package Explorer视图中，通过右键选择“New” -> “Java Project”。在弹出...
5. **hadoop远程调试.txt** - 文件名暗示了如何远程调试Hadoop程序，这对于开发者在分布式环境中解决问题至关重要，可能涵盖了使用IDE（如Eclipse）的远程调试配置和技巧。 6. **MR执行流程笔记.txt** - MapReduce...
资料可能涵盖Zookeeper的选举算法、会话和观察者模式，以及在Hadoop中如何使用Zookeeper来保证服务的高可用性。 最后，"如何把hadoop源码关联到eclipse工程中"是针对开发者的内容，说明如何将Hadoop的源代码导入...
Hadoop与HBase学习笔记 本文档记录了Hadoop和HBase的学习过程，包括Hadoop的安装、HBase的安装和在Eclipse下开发HBase的实践过程。这些记录旨在为初学者提供指导和帮助。 1. Hadoop安装 Hadoop的安装需要先安装...
接下来，《Hadoop伪分布模式安装笔记成功版本在windows下的虚拟机但是里面没有windows下的eclipse的配置.pdf》这份文档详细记录了在Windows环境下使用虚拟机（如VMware或VirtualBox）安装Hadoop的步骤，特别是伪...
maven的安装、路径配置、修改库文件路径和eclipse中的配置，解决Eclipse使用Maven下载慢的问题 1.3、创建一个maven工程HDFS 1.4、 导入相应的依赖坐标加日志添加 junit junit RELEASE org.apache.logging....
开始学习Hadoop，首先搭建了一下开发环境，最开始是在单独编写Map-Reduce程序，然后在命令行编译，再通过hadoop命令运行打好的jar包，虽然也能够运行，但是总感觉这样用起来很麻烦，所以今晚又尝试了直接通过eclipse...
- **Hadoop生态系统中的地位**：随着大数据处理的需求日益增长，Hadoop已成为大数据处理的标准平台之一。而Scala作为Spark的主要开发语言，不仅与Hadoop生态系统完美融合，而且在提供高效数据处理能力的同时还保持了...
【Infosys学习笔记】 Infosys是一家全球知名的咨询和技术服务公司，以其在信息技术领域的创新和解决方案而闻名。在本文中，我们将深入探讨Infosys的相关技术及其应用，同时结合“源码”和“工具”这两个标签，将...
5. 软件开发工具：Eclipse、IntelliJ IDEA等Java集成开发环境（IDE）提供了强大的物联网开发支持，包括硬件模拟器、物联网插件等，使得开发者可以在没有实际设备的情况下进行代码编写和测试。 "从0开始用Java做智慧...
Java是一种广泛使用的面向对象的编程语言，由Sun Microsystems（现为Oracle公司的一部分）于1995年发布。..."Java学习笔记"这个压缩包文件应该包含了关于这些主题的详细教程和示例代码，是你学习Java的好资源。
6. **数据分析**: 数据预处理、统计分析、数据可视化、机器学习算法（如线性回归、决策树、神经网络）等主题可能在笔记中出现。这部分内容对于理解和应用数据分析技术至关重要。 7. **开发工具**: 笔记可能还会涉及...
【Java编程语言基础】 Java是一种广泛使用的面向对象的编程语言，由Sun Microsystems（现已被Oracle收购）于1995年推出。...在实际开发过程中，还要关注社区动态，了解新技术和框架，以便不断提升自己的技能。
1. Eclipse：一个开源的IDE，支持多种语言，具有丰富的插件和强大的调试功能。 2. IntelliJ IDEA：JetBrains公司的旗舰产品，以其智能代码补全和高效的开发体验而闻名。 3. NetBeans：另一个开源IDE，特别适合初学者...
因此，这个压缩包可能包含Manuel的学习笔记、代码示例、课件、测试文件或其他与Java编程相关的资源。 深入学习Java，我们需要掌握以下几个关键知识点： 1. **基础语法**：包括变量、数据类型、运算符、控制结构...