package mytest.hadoop.mr1; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.util.GenericOptionsParser; public class WordCount { public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable>{ private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(Object key, Text value, Context context ) throws IOException, InterruptedException { //StringTokenizer 是出于兼容性的原因而被保留的遗留类 StringTokenizer itr = new StringTokenizer(value.toString());//被分割对象str,分隔符采取默认分割,java默认的分隔符是“空格”、“制表符(‘\t’)”、“换行符(‘\n’)”、“回车符(‘\r’)”。默认的话,所有的分隔符都会同时起作用。 while (itr.hasMoreTokens()) { word.set(itr.nextToken()); context.write(word, one); } } } public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable> { private IntWritable result = new IntWritable(); public void reduce(Text key, Iterable<IntWritable> values, Context context ) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } result.set(sum); context.write(key, result); } } public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs(); if (otherArgs.length < 2) { System.err.println("Usage: wordcount <in> [<in>...] <out>"); System.exit(2); } System.out.println("otherArgs.length="+otherArgs.length); for (int i = 0; i < otherArgs.length; ++i) { System.out.println(i+"--"+otherArgs[i].toString()); } System.out.println("args over"); //job.jar在job路径下的位置 conf.set("mapred.jar","E:\\wc.jar");//必需的!!!! //跨平台提交作业 conf.set("mapreduce.app-submission.cross-platform","true");//必需的!!!!$JAVA_HOME VS %JAVA_HOME% //分布式文件 URI conf.set("fs.defaultFS", "hdfs://master:9000");//必需的!!!! //conf.set("mapreduce.jobtracker.address", "master"); conf.set("mapreduce.framework.name", "yarn"); //必需的!!!! conf.set("yarn.resourcemanager.address", "master:8032"); //必需的!!!! Job job = Job.getInstance(conf, "word count"); job.setJarByClass(WordCount.class); //设置map job.setMapperClass(TokenizerMapper.class); //设置Combine.Combiner使得map task与reduce task之间的数据传输量大大减小,可明显提高性能。大多数情况下,Combiner与Reducer相同 job.setCombinerClass(IntSumReducer.class); //设置reduce job.setReducerClass(IntSumReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); //设置输入输出 FileInputFormat.addInputPath(job, new Path(otherArgs[0])); FileOutputFormat.setOutputPath(job,new Path(otherArgs[1])); System.out.println("222-------------111"); //提交作业并等待其执行结束。在这里主要通过submit()方法提交一个作业。 System.exit(job.waitForCompletion(true) ? 0 : 1); } }
相关推荐
标题 "hadoop2.7.1-win32.zip" 指示了这是一个适用于Windows 32位操作系统的Hadoop版本,具体为2.7.1。Hadoop是Apache软件基金会开发的一个开源分布式计算框架,它允许在大量计算机节点上处理和存储海量数据。这个...
hadoop-2.7.1-64位编译包,本人亲测,绝对有用。
Hadoop作为一个开源的分布式计算框架,其组件众多,而“hadoop-common-2.7.1-bin-master.zip”正是其中的重要组成部分——Hadoop Common的工具包。这个压缩包包含了运行Hadoop集群所必需的一些基础工具和库文件,...
Hadoop-2.7.1-Windows-64-binaries, 预先编译,非官方的Hadoop 2.7.1的Win64二进制文件 用于 Windows 64位 平台的 2.7.1二进制文件这是针对 Windows 64位 平台的非官方预先编译的Apache Hadoop 2.7.1. 这里的tar.gz ...
这个压缩包“hadoop-2.7.1-src.rar”包含了Hadoop 2.7.1版本的源代码,允许开发者深入理解其内部机制并进行定制化开发。 Hadoop的核心组件包括HDFS(Hadoop Distributed File System)和MapReduce。HDFS是一种...
在"**hadoop-common-2.7.1-bin-maste**"压缩包中,主要包含以下文件和目录: - bin:存放可执行脚本,如hadoop命令,用于执行Hadoop相关的操作。 - sbin:存放系统级脚本,如start-dfs.sh、stop-dfs.sh,用于启动和...
在linux环境下部署的Hadoop集群-WordCount运行详解。
本篇将围绕"Hadoop-common-2.7.1-bin-master-master.zip"这一压缩包,详细阐述其内容、作用以及在实际操作中的应用场景。 Hadoop Common 2.7.1是Hadoop生态系统中的核心组件之一,主要提供了Hadoop系统运行所需的...
hadoop-mapreduce-examples-2.7.1.jar
在Windows下执行时遇到的UnsatisfiedLinkError以及java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries问题,解决:把插件里面的文件解压缩至%HADOOP_HOME%\bin目录下
hadoop2.7.1 winUtils 。如果本机操作系统是 Windows,在程序中使用了 Hadoop 相关的东西,比如写入文件到HDFS,则会遇到如下异常:could not locate executable null\bin\winutils.exe ,使用这个包,设置一个 ...
这个名为“hadoop-2.7.1.tar.gz.zip”的文件包含了Hadoop的2.7.1版本,这是一个非常重要的里程碑,因为它包含了对Hadoop生态系统的许多改进和修复。 首先,我们要明白文件的结构。这是一个压缩文件,最外层是.zip...
Hadoop 2.7.1是Hadoop发展过程中的一个重要版本,它提供了许多增强特性和稳定性改进,使得大规模数据处理更加高效和可靠。在这个版本中,Hadoop的核心组件包括HDFS(Hadoop Distributed File System)和MapReduce,...
相关文件解压至%HADOOP_HOME%\bin目录下,可解决hadoop2.7+在Windows下执行时遇到的UnsatisfiedLinkError以及java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
hadoop中的demo,wordcount列子用到的JAR包 用法: # 在容器里运行WordCount程序,该程序需要2个参数...hadoop jar hadoop-mapreduce-examples-2.7.1-sources.jar org.apache.hadoop.examples.WordCount input output
hadoop-2.7.1-API,自己在官网截取网页制作的
具体来说,需要修改的依赖项包括hadoop-common和hadoop-hdfs模块。 在修改配置之后,下一步是进行用户设置。需要指定FTP服务器的用户名、密码、用户目录、是否启用、是否具有写权限等信息。文档提供了一个MD5加密的...
Apache公司出品的hadoop安装包,hadoop-2.7.1版本,目前最新版本,可供下载安装