- 浏览: 407551 次
- 性别:
- 来自: 北京
文章分类
最新评论
-
秦时明月黑:
深入浅出,楼主很有功底
hive编译部分的源码结构 -
tywo45:
感觉好多错误,但还是支持!
HDFS+MapReduce+Hive+HBase十分钟快速入门 -
xbbHistory:
解析的很棒!!
Linux-VFS -
darrendu:
执行这个命令,bin/hadoop fs -ls /home/ ...
Hadoop示例程序WordCount运行及详解 -
moudaen:
请问楼主,我执行总后一条语句时,执行的是自带的1.sql,你当 ...
TPC-H on Hive
最近在学习云计算,研究Haddop框架,费了一整天时间将Hadoop在Linux下完全运行起来,看到官方的map-reduce的demo程序WordCount,仔细研究了一下,算做入门了。
运行方法:
假设:
- /home/cq/wordcount/input - 是 HDFS 中的输入路径
- /home/cq/wordcount/output - 是 HDFS 中的输出路径
用示例文本文件做为输入:
$ bin/hadoop fs -ls
/home/cq/wordcount/input/
/
home/cq
/wordcount/input/file01
/
home/cq
/wordcount/input/file02
$ bin/hadoop fs -cat /
home/cq
/
wordcount/input/file01
Hello World Bye World
$ bin/hadoop dfs -cat /home/cq/wordcount/input/file02
Hello Hadoop Goodbye Hadoop
运行应用程序:
$ bin/hadoop jar /*/WordCount /home/cq/wordcount/input /home/cq/wordcount/output
输出是:
$ bin/hadoop dfs -cat
/home/cq/wordcount/output/part-00000
Bye 1
Goodbye 1
Hadoop 2
Hello 2
World 2
详解:
其实WordCount并不难,只是一下子接触到了很多的API,有一些陌生,还有就是很传统的开发相比,map-reduce确实是一种新的编程理 念,为了让各位新手少走弯路,我将WordCount中的很多API都做了注释,其实这些方法搞明白了以后程序就很简单了,无非就是将一句话分词,先用 map处理再用reduce处理,最后再main函数中设置一些信息,然后run(),程序就结束了。好了,不废话,直接上代码:
- package com.felix;
- import java.io.IOException;
- import java.util.Iterator;
- import java.util.StringTokenizer;
- import org.apache.hadoop.fs.Path;
- import org.apache.hadoop.io.IntWritable;
- import org.apache.hadoop.io.LongWritable;
- import org.apache.hadoop.io.Text;
- import org.apache.hadoop.mapred.FileInputFormat;
- import org.apache.hadoop.mapred.FileOutputFormat;
- import org.apache.hadoop.mapred.JobClient;
- import org.apache.hadoop.mapred.JobConf;
- import org.apache.hadoop.mapred.MapReduceBase;
- import org.apache.hadoop.mapred.Mapper;
- import org.apache.hadoop.mapred.OutputCollector;
- import org.apache.hadoop.mapred.Reducer;
- import org.apache.hadoop.mapred.Reporter;
- import org.apache.hadoop.mapred.TextInputFormat;
- import org.apache.hadoop.mapred.TextOutputFormat;
- /**
- *
- * 描述:WordCount explains by Felix
- * @author Hadoop Dev Group
- */
- public class WordCount
- {
- /**
- * MapReduceBase类:实现了Mapper和Reducer接口的基类(其中的方法只是实现接口,而未作任何事情)
- * Mapper接口:
- * WritableComparable接口:实现WritableComparable的类可以相互比较。所有被用作key的类应该实现此接口。
- * Reporter 则可用于报告整个应用的运行进度,本例中未使用。
- *
- */
- public static class Map extends MapReduceBase implements
- Mapper<LongWritable, Text, Text, IntWritable>
- {
- /**
- * LongWritable, IntWritable, Text 均是 Hadoop 中实现的用于封装 Java 数据类型的类,这些类实现了WritableComparable接口,
- * 都能够被串行化从而便于在分布式环境中进行数据交换,你可以将它们分别视为long,int,String 的替代品。
- */
- private final static IntWritable one = new IntWritable( 1 );
- private Text word = new Text();
- /**
- * Mapper接口中的map方法:
- * void map(K1 key, V1 value, OutputCollector<K2,V2> output, Reporter reporter)
- * 映射一个单个的输入k/v对到一个中间的k/v对
- * 输出对不需要和输入对是相同的类型,输入对可以映射到0个或多个输出对。
- * OutputCollector接口:收集Mapper和Reducer输出的<k,v>对。
- * OutputCollector接口的collect(k, v)方法:增加一个(k,v)对到output
- */
- public void map(LongWritable key, Text value,
- OutputCollector<Text, IntWritable> output, Reporter reporter)
- throws IOException
- {
- String line = value.toString();
- StringTokenizer tokenizer = new StringTokenizer(line);
- while (tokenizer.hasMoreTokens())
- {
- word.set(tokenizer.nextToken());
- output.collect(word, one);
- }
- }
- }
- public static class Reduce extends MapReduceBase implements
- Reducer<Text, IntWritable, Text, IntWritable>
- {
- public void reduce(Text key, Iterator<IntWritable> values,
- OutputCollector<Text, IntWritable> output, Reporter reporter)
- throws IOException
- {
- int sum = 0 ;
- while (values.hasNext())
- {
- sum += values.next().get();
- }
- output.collect(key, new IntWritable(sum));
- }
- }
- public static void main(String[] args) throws Exception
- {
- /**
- * JobConf:map/reduce的job配置类,向hadoop框架描述map-reduce执行的工作
- * 构造方法:JobConf()、JobConf(Class exampleClass)、JobConf(Configuration conf)等
- */
- JobConf conf = new JobConf(WordCount. class );
- conf.setJobName("wordcount" ); //设置一个用户定义的job名称
- conf.setOutputKeyClass(Text.class ); //为job的输出数据设置Key类
- conf.setOutputValueClass(IntWritable.class ); //为job输出设置value类
- conf.setMapperClass(Map.class ); //为job设置Mapper类
- conf.setCombinerClass(Reduce.class ); //为job设置Combiner类
- conf.setReducerClass(Reduce.class ); //为job设置Reduce类
- conf.setInputFormat(TextInputFormat.class ); //为map-reduce任务设置InputFormat实现类
- conf.setOutputFormat(TextOutputFormat.class ); //为map-reduce任务设置OutputFormat实现类
- /**
- * InputFormat描述map-reduce中对job的输入定义
- * setInputPaths():为map-reduce job设置路径数组作为输入列表
- * setInputPath():为map-reduce job设置路径数组作为输出列表
- */
- FileInputFormat.setInputPaths(conf, new Path(args[ 0 ]));
- FileOutputFormat.setOutputPath(conf, new Path(args[ 1 ]));
- JobClient.runJob(conf); //运行一个job
- }
- }
评论
Cannot access /home/darren/wordcount/input/: No such file or directory.
下面是详情,帮看下
Administrator@china-26d105f11 /cygdrive/e/hadoop/run $ bin/hadoop fs -ls /home/darren/wordcount/input/ ls: Cannot access /home/darren/wordcount/input/: No such file or directory. Administrator@china-26d105f11 /cygdrive/e/hadoop/run $ ls /home/darren/wordcount/input/ file01 file02 Administrator@china-26d105f11 /cygdrive/e/hadoop/run $ cat /home/darren/wordcount/input/file01 hello world bye world Administrator@china-26d105f11 /cygdrive/e/hadoop/run $ vi /home/darren/wordcount/input/file01 Administrator@china-26d105f11 /cygdrive/e/hadoop/run $ cat /home/darren/wordcount/input/file01 hello world bye world test Administrator@china-26d105f11 /cygdrive/e/hadoop/run $
发表评论
-
Hadoop的Secondary NameNode方案
2012-11-13 10:39 1292http://book.51cto.com/art/20120 ... -
hadoop
2011-10-08 12:20 1116hadoop job解决 ... -
hadoop作业调优参数整理及原理
2011-04-15 14:02 13191 Map side tuning 参数 ... -
Job运行流程分析
2011-03-31 11:04 1681http://www.cnblogs.com/forfutur ... -
hadoop作业运行部分源码
2011-03-31 10:51 1429一、客户端 Map-Reduce的过程首先是由客户端提交 ... -
eclipse中编译hadoop(hive)源码
2011-03-24 13:20 3427本人按照下面编译Hadoop 所说的方法在eclipse中编 ... -
Configuration Parameters: What can you just ignore?
2011-03-11 15:16 874http://www.cloudera.com/blog/20 ... -
7 Tips for Improving MapReduce Performance
2011-03-11 15:06 1012http://www.cloudera.com/blog ... -
hadoop 源码分析一
2011-02-22 15:29 1217InputFormat : 将输入的 ... -
hadoop参数配置(mapreduce数据流)
2011-01-14 11:08 2910Hadoop配置文件设定了H ... -
混洗和排序
2011-01-05 19:33 3260在mapreduce过程中,map ... -
hadoop中每个节点map和reduce个数的设置调优
2011-01-05 19:28 8405map red.tasktracker.map.tasks. ... -
hadoop profiling
2010-12-20 20:52 2644和debug task一样,profiling一个运行在分布 ... -
关于JVM内存设置
2010-12-20 20:49 1357运行map、reduce任务的JVM内存调整:(我当时是在jo ... -
HADOOP报错Incompatible namespaceIDs
2010-12-14 12:56 1018HADOOP报错Incomp ... -
node1-node6搭建hadoop
2010-12-13 18:42 1136环境: node1-node6 node1为主节点 ... -
hadoop启动耗时
2010-12-07 17:28 1332http://blog.csdn.net/AE86_FC/ar ... -
namenode 内部关键数据结构简介
2010-12-07 16:35 1287http://www.tbdata.org/archiv ... -
HDFS常用命令
2010-12-04 14:59 1324文件系统检查 bin/hadoop fsck [pa ... -
HDFS添加和删除节点
2010-12-04 14:45 2022From http://developer.yahoo.co ...
相关推荐
本篇文档深入浅出地介绍了Hadoop集群的WordCount运行详解,从MapReduce理论到WordCount程序的运行,再到源码分析,内容丰富且详细,对于想要入门和深入了解Hadoop分布式计算和MapReduce模型的读者来说,是一份宝贵的...
### Hadoop运行WordCount实例详解 #### 一、Hadoop简介与WordCount程序的重要性 Hadoop 是一个由Apache基金会所开发的分布式系统基础架构。它能够处理非常庞大的数据集,并且能够在集群上运行,通过将大数据分割...
### Hadoop-1.2.1 运行WordCount...总之,运行Hadoop-1.2.1下的WordCount示例涉及多个步骤,从环境搭建、数据准备到程序执行及结果验证都需要仔细操作。特别是在遇到问题时,应根据具体错误信息逐一排查并解决问题。
### Hadoop集群中WordCount示例详解 #### Hadoop简介 Hadoop是一个开源软件框架,用于分布式存储和处理大规模数据集。它通过提供一个高效、可靠且可扩展的环境来支持大数据处理应用,使得开发者可以在商品硬件上...
"hadoop集群通用wordcount测试程序"是一个基于Hadoop实现的、不依赖特定平台的WordCount示例,它广泛应用于学习、研究以及性能基准测试。WordCount是Hadoop入门的经典案例,其主要任务是对文本中的单词进行计数。 ...
### Ubuntu上运行Hadoop WordCount实例详解 #### 一、环境搭建与配置 在Ubuntu系统上部署并运行Hadoop WordCount实例,首先需要确保已经安装了Hadoop环境,并且版本为hadoop-0.20.2。此版本较旧,主要用于教学或...
《Hadoop入门脚本WordCount详解》 在大数据处理领域,Hadoop是一个不可或缺的重要工具,它的分布式计算模型为海量数据的处理提供了强大的支持。而WordCount则是Hadoop入门的经典示例,通过它,我们可以深入理解...
### Hadoop集群中WordCount运行详解 #### 一、MapReduce理论简介 ##### 1.1 MapReduce编程模型概述 MapReduce是一种编程模型,用于处理和生成大型数据集。其核心理念是“分而治之”,即将大规模数据处理任务拆分...
本文档主要讲解了Hadoop集群的MapReduce编程模型和WordCount程序的运行详解。下面是相关的知识点: 1. MapReduce编程模型: * MapReduce采用的“分而治之”的思想,把对大规模数据集的操作,分发给一个主节点管理...
Hadoop WordCount 是一个经典的示例程序,用于演示如何利用Hadoop MapReduce框架进行大规模数据处理。WordCount 的基本任务是计算文本文件中每个单词出现的次数。通过这个简单的例子,可以了解Hadoop的基本操作流程...
Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,MapReduce则为海量的数据提供了计算...1、Hadoop示例程序WordCount详解及实例2、hadoop学习笔记:mapreduce框架详解3、hadoop示例程序wo
程序运行时,MapReduce框架会启动JVM执行任务,显示任务相关信息,包括Job ID、输入输出文件数量、map和reduce任务的数量及处理记录。 3. 查看和解析结果 运行完成后,结果会存储在指定的输出目录下,通常包含多个...
通过实际的WordCount程序示例,了解如何使用Hadoop MapReduce处理数据,统计文本中单词出现次数。 七、监控与管理 1. 日志查看:Hadoop提供了一套日志收集和分析机制,方便排查问题。 2. Web UI:通过访问NameNode...
【Windows下配置Cygwin、Hadoop环境及MapReduce程序运行详解】 在Windows操作系统中运行Hadoop和MapReduce程序,通常需要借助Cygwin来模拟Linux环境,因为Hadoop主要设计用于类Unix系统。Cygwin是一个提供Linux环境...
### 使用命令行编译打包运行自己...以上就是使用命令行编译打包运行自己的MapReduce程序的过程详解,包括了Hadoop 2.6.0版本的变化、编译打包流程、运行命令解析以及使用Eclipse进行开发的方法。希望对初学者有所帮助。
WordCount是Hadoop生态系统中最经典的示例程序,用于统计文本数据中单词出现的频率。它展示了MapReduce编程模型的基本工作原理,这也是分布式大数据处理的核心。在这个程序中,"Map"阶段将原始输入数据拆分成键值对...
- 可以尝试运行内置的WordCount示例程序来测试Hadoop是否正确配置。 - 进入`/home/shiep205/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-0.20.0.jar`目录。 - 使用命令`bin/hadoop jar hadoop-...
这个压缩包“Hadoop 2.0部署配置文件示例.zip”包含了用于配置和部署Hadoop集群的关键文件。下面我们将详细探讨Hadoop 2.0的主要特点以及配置文件的相关知识。 一、Hadoop 2.0的主要特点 1. YARN(Yet Another ...
### Python 实现 MapReduce 的 WordCount 示例详解 #### 一、引言 MapReduce 是 Hadoop 生态系统中的一种编程模型,主要用于大规模数据集的并行处理。它通过两个主要阶段——`Map` 和 `Reduce` 来实现数据处理任务...