@Override
public int run(String[] args) throws Exception {
//String fileName = "E:/tmp/1111.txt";
Configuration conf = new Configuration();
conf.set("fs.default.name", "file:///");
conf.set("mapred.job.tracker", "local");
String inputFile = "E:/tmp/call.pl";
String output = "E:/tmp/output/";
Job job = new Job(conf,this.getClass().getSimpleName());
job.setJarByClass(this.getClass());
job.setMapperClass(LxwMapper.class);
job.setReducerClass(LxwReducer.class);
FileInputFormat.addInputPath(job, new Path(inputFile));
FileOutputFormat.setOutputPath(job, new Path(output));
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);
System.exit(job.waitForCompletion(true) ? 0 : 1);
return 0;
}
public static void main(String[] args) throws Exception {
int exitCode = ToolRunner.run(new Configuration(), new LxwJob(), args);
System.exit(exitCode);
}
分享到:
相关推荐
### hadoop本地Windows开发环境配置 #### 一、Hadoop开发环境配置 为了在Windows环境下进行基于Spark的分布式数据处理,首先需要配置好Hadoop的开发环境。这一步主要是为了确保能够本地提交并运行Hadoop MapReduce...
本资源"hadop-windows本地库版"显然是针对Windows操作系统优化的Hadoop版本,这意味着它可能包含了在Windows环境下运行Hadoop所需的所有组件和依赖,包括Java运行环境、配置文件、可执行程序等。 Hadoop的核心由两...
IDEA hadoop本地调试MR windows-hadoop-bin 的压缩包,适合hadoop2.7.2以上,而且有详细的安装环境文档和错误的处理,一次通过
本文将详细解析标题为“Hadoop提交Job执行MR程序代码.zip”的内容,涵盖Hadoop MR程序代码、job提交流程以及MR程序的不同运行模式。 首先,Hadoop MapReduce(简称MR)是基于Google的MapReduce编程模型实现的,主要...
标题 "Hadoop IDEA 本地调试MR 包含文档和所有的资源" 涉及到的主要知识点是关于使用IntelliJ IDEA(简称IDEA)在本地环境中调试Hadoop MapReduce(MR)作业。Hadoop是一个开源的分布式计算框架,主要用于处理和存储...
hadoop本地测试环境搭建工具包 1.hadoop.dll 2.hadoop源码请到官网下载
总的来说,"Win本地测试hadoop"涵盖了在Windows环境下搭建Hadoop环境、编写和执行MapReduce程序的基础知识,这对于理解和实践大数据处理具有重要意义。通过这种方式,开发者可以在本地快速迭代和测试代码,提升开发...
总结,这个压缩包提供的环境软件是针对Windows用户在本地进行Hadoop MapReduce学习和测试的。它包含必要的工具和资源,帮助你配置Hadoop环境,编写并执行MapReduce程序,从而深入理解分布式计算的核心概念。在学习...
总之,Hadoop 2.7.4 Windows 64位编译bin包为Windows用户提供了在本地开发和测试大数据处理应用的便利。通过理解和掌握上述知识点,用户可以在Windows环境下高效地利用Hadoop进行大数据处理任务。
在Windows上安装Hadoop需要耐心和细致的配置工作,但一旦完成,可以为学习和开发提供一个本地化的测试环境。记住,由于Windows与Linux的差异,可能会遇到一些特有的问题,需要查阅文档或社区论坛寻求解决方案。
总的来说,了解如何在Windows环境中正确配置Hadoop的bin目录对于进行本地开发和测试至关重要。这个压缩包提供的编译bin文件是为了简化这一过程,确保Hadoop在Windows上的顺利运行,尤其对于那些需要在本地环境中进行...
前提是你已经在windows上安装hadoop2.7.1。请将hadoop2.7.1中的bin和etc删除,使用hadooponwindows-master中的bin和etc代替 资源说明: 有些时候,我们想在自己电脑windows系统上使用hadoop,这样省去了建虚拟机的...
本资源针对的是Windows 7 64位操作系统用户,帮助他们在本地环境中搭建Hadoop开发和测试平台。 在Windows系统上编译Hadoop通常是一项挑战,因为Hadoop最初设计是运行在Linux环境下的。然而,通过一些额外的步骤,...
7. **运行Hadoop应用程序**:在Windows上,开发者可以使用Eclipse或IntelliJ IDEA等集成开发环境,配合插件来编写、调试和运行Hadoop MapReduce程序。 8. **注意事项**:在Windows上运行Hadoop可能会遇到一些问题,...
7. **测试与应用**:可以使用Hadoop自带的WordCount示例验证安装是否成功,或者开发自己的MapReduce程序来处理大数据。 8. **可视化工具**:例如Ambari,它可以简化Hadoop集群的部署、管理和监控,对于Windows环境...
Hadoop通常是在Linux环境下运行,但在Windows上进行开发和测试有时也是必要的。下面将详细介绍Hadoop在Windows上的安装、配置以及解决`winutils.exe`问题的相关知识点。 **1. Hadoop在Windows上的安装** 由于Hadoop...
然而,"hadoop_windows_tools.rar"这个压缩包就是为了方便Windows用户在本地搭建和运行Hadoop环境而提供的工具集合。 标题中的"hadoop_windows_tools.rar"暗示了这是一组专为Windows用户定制的Hadoop工具,其中可能...
7. **测试运行**:运行简单的Hadoop MapReduce程序,如WordCount,验证Hadoop在Windows上的正确安装和配置。 这个压缩包中的"bin"目录可能包含了所有编译后的可执行文件,包括winutils.exe和hadoop.dll,以及其他...
这个组件是Hadoop在Windows上运行所必需的,因为Hadoop原本是为Linux环境设计的,它的一些核心功能,如文件操作和本地进程管理,都需要特定的工具集,而WinUtils就是这些功能在Windows上的实现。 首先,我们需要...
总结来说,这个"HADOOP2.8.1Windows环境下压缩包"为Windows用户提供了一个便捷的途径来安装和使用Hadoop,而无需复杂的编译过程。只需正确配置和管理,你就可以在本地环境中进行大数据处理和分析,这对于学习Hadoop...