`
臻是二哥
  • 浏览: 188581 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
博客专栏
Group-logo
Java技术分享
浏览量:0
社区版块
存档分类
最新评论

第一个hadoop程序-WordCount

 
阅读更多

首先说明一下环境:我在前面的博客中搭建的hadoop平台,具体为运行在win7上的eclipse3.3连接到位于ubuntu14.04hadoop集群,至于具体的搭建方法请参见以前的博客。下面开始在eclipse中调试WordCount程序:

打开eclipse,新建一个Map/Reduce Project



 
 



 
 

Map/Reduce Project工程下,建立一个java文件,命名为WordCount,代码如下:

WordCount程序的源代码,可以在hadoop包的src文件夹中找到

import java.io.IOException;

import java.util.StringTokenizer;

import org.apache.hadoop.conf.*;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.mapreduce.Reducer;

import org.apache.hadoop.util.*;

import org.apache.hadoop.io.*;

import org.apache.hadoop.mapreduce.Reducer.Context;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import org.apache.hadoop.fs.Path;

 

public class WordCount {

public static class MyMapper extends Mapper<Object,Text, Text,IntWritable>{

private final static IntWritable one = new IntWritable(1);

private Text word = new Text();

 

public void map(Object key, Text value,Context context) throws IOException,InterruptedException{

StringTokenizer st=new StringTokenizer(value.toString());

while(st.hasMoreTokens()){

String str=st.nextToken();

word.set(str);

context.write(word, one);

System.out.println(str+"="+one.get());

}

}

}

 

public static class MyReducer extends Reducer<Text,IntWritable,Text,IntWritable>{

private IntWritable result = new IntWritable();

public void reduce(Text key,Iterable<IntWritable> values ,Context context) throws IOException,InterruptedException{

int sum=0;

for(IntWritable val:values)

{

sum+=val.get();

}

System.out.println(key+"="+sum);

result.set(sum);

context.write(key,result);

}

 

}

 

 

 

public static void main(String [] args) throws Exception

{

Configuration conf= new Configuration();

 String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();

    if (otherArgs.length != 2) {

      System.err.println("Usage: wordcount <in> <out>");

      System.exit(2);

    }

   Job job=new Job(conf,"word count" );

   job.setJarByClass(WordCount.class);

   job.setMapperClass(MyMapper.class);

   job.setCombinerClass(MyReducer.class);

   job.setReducerClass(MyReducer.class);

   

   job.setOutputKeyClass(Text.class);

   job.setOutputValueClass(IntWritable.class);

   

    FileInputFormat.addInputPath(job, new Path(otherArgs[0]));

    FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));

    System.out.println("运行啦");

    System.exit(job.waitForCompletion(true) ? 0 : 1);

 

}

}

这个程序需要输入文件和输出文件(输入文件会自动生成),因此我们在hdfs中建立输入文件,通过XShell进入NameNode节点,执行如下命令:

mkdir ~/input

cd ~/input

echo hello world  >> 1.txt

echo hello hadoop >>1.txt

echo hello java  >>2.txt

echo hello c >>2.txt

执行完这些命令,input中有两个txt文件,内容分别为:

 

 

之后,使用hadoop dfs -put ~/input inin命令将该文件复制到hdfs系统中。

然后就可以运行了,但是运行的时候需要参数,因此进行如下操作设置参数:



 
 



 
 

 

注意,上图中的Program arguments中的内容就是程序运行需要的参数,多个参数之间使用空格就可以,当然换行也可以。

这个程序需要输入输入文件和输出文件在hdfs中的位置,这里,小编的输入输出(输出会自动生成)如图。

到这里,点击对话框下面的Run就可以运行了。

注意:

可能会有的问题:

第一个问题:

org.apache.hadoop.security.AccessControlException:Permission denied:user=xxx,access=WRITE,incode=hadoop

这是权限问题,通过Xshell进入namenode节点,先关闭hadoop服务,在修改hadf-site.xml文件,添加如下内容(注意,对hdfs-site.xml的修改要同步到其他所有节点,不然集群无法启动)

 

然后,启动hadoop服务,重新运行WordCount程序,bug消失。

第二个问题:

 

Hadoop错误锦集http://blog.chinaunix.net/xmlrpc.php?r=blog/article&uid=22312037&id=4095491

  • 大小: 30.5 KB
  • 大小: 34.4 KB
  • 大小: 19.6 KB
  • 大小: 61.6 KB
  • 大小: 26.5 KB
  • 大小: 11.4 KB
  • 大小: 3 KB
0
0
分享到:
评论

相关推荐

    hadoop-2.6.0-cdh5.16.2 for windows

    1. LICENSE.txt和NOTICE.txt:这两份文件是开源软件的重要法律文档,它们详细列出了Hadoop的授权协议和使用条款,以及所有第三方库的版权信息,确保你在使用过程中遵守相关法规。 2. README.txt:这是开发者提供的...

    WordCount2_hadoopwordcount_

    在Hadoop生态系统中,`WordCount`程序是一个经典的示例,用于演示分布式计算的基本原理。在标题中的"WordCount2_hadoopwordcount_"可能指的是Hadoop WordCount的第二个版本,通常是在Hadoop 2.x环境下运行。这个程序...

    Hadoop的单机伪分布式搭建和运行第一个WordCount程序

    Hadoop单机伪分布式搭建和运行第一个WordCount程序 Hadoop是Apache基金会下的一个开源的大数据处理框架,它广泛应用于数据处理、数据分析和机器学习等领域。下面是关于Hadoop单机伪分布式搭建和运行第一个WordCount...

    hadoop实现wordcount

    文件名"wordcount2"可能指的是该项目的第二个版本或者一个包含改进或扩展的WordCount实现。这可能包括更复杂的情感分析算法,如考虑上下文信息,或者优化性能,例如通过压缩输入数据减少网络传输。 总结来说,...

    16.3、hadoop--01.pdf

    2. 安装JDK:Hadoop需要Java环境来运行,所以第一步是安装Java开发包(JDK)。文档中指定了安装的JDK版本为java-1.8.0-openjdk,并使用yum命令进行安装。安装完成后,通过rpm查询命令来确认JDK的安装路径,以便后续...

    【大数据入门笔记系列】第五节 SpringBoot集成hadoop开发环境(复杂版的WordCount)

    【大数据入门笔记系列】第五节 SpringBoot集成hadoop开发环境(复杂版的WordCount)前言环境清单创建SpringBoot项目创建包创建yml添加集群主机名映射hadoop配置文件环境变量HADOOP_HOME编写代码添加hadoop依赖jar包...

    Hadoop学习全程记录-在Eclipse中运行第一个MapReduce程序.docx

    在本文中,我们将深入探讨如何在Eclipse环境中编写并运行你的第一个MapReduce程序,这是一个针对Hadoop初学者的教程。Hadoop是一个开源框架,用于处理和存储大量数据,而MapReduce是Hadoop的核心计算模型,它将...

    hadoop入门wordcount

    Map阶段是数据处理的第一步,它接收输入数据,进行映射操作,例如在WordCount中,将每行文本拆分成单词。Reduce阶段随后执行,它聚合映射阶段的结果,例如,计算每个单词的总数。 3. **WordCount程序**:WordCount...

    细细品味Hadoop_Hadoop集群(第6期)_WordCount运行详解

    WordCount是Hadoop中最经典的示例程序之一,它能够统计一系列文本文件中每个单词出现的频率。以下是运行WordCount程序的具体步骤: ##### 2.1 准备工作 1. **创建本地示例文件**:以“hadoop”用户登录到“Master....

    hadoop-2.4.0-part0

    6. **示例程序**:为了帮助理解,可能会提供一些MapReduce的简单示例代码,如WordCount,演示如何编写、编译和运行一个基本的Hadoop程序。 7. **最佳实践和注意事项**:如何优化Hadoop集群性能,避免常见问题,以及...

    eclipse配置hadoop

    配置 Hadoop 插件是使用 Eclipse 进行 MapReduce 开发的第一步。首先,需要安装 Eclipse 3.3.2 和 Hadoop 0.20.2-eclipse-plugin.jar 插件,插件可以在 Hadoop 0.20.2/contrib/eclipse-plugin 目录下找到。将插件...

    Hadoop完全分布式详细安装过程

    整个安装过程分为六个主要部分:安装虚拟化工具VMware、在VMware上安装Ubuntu系统、安装JDK与SSH服务作为Hadoop安装前的准备、配置Hadoop、安装Eclipse以及运行一个简单的Hadoop程序——WordCount.java。 #### 二、...

    新版Hadoop视频教程 段海涛老师Hadoop八天完全攻克Hadoop视频教程 Hadoop开发

    第一天 hadoop的基本概念 伪分布式hadoop集群安装 hdfs mapreduce 演示 01-hadoop职位需求状况.avi 02-hadoop课程安排.avi 03-hadoop应用场景.avi 04-hadoop对海量数据处理的解决思路.avi 05-hadoop版本选择和...

    Hadoop-2.8.0-Day04-MapReduce编程案例-课件与资料.zip

    1. MapReduce编程基础:包括如何配置Hadoop环境,创建并运行第一个MapReduce程序。 2. 数据输入与输出格式:了解InputFormat和OutputFormat接口,以及自定义输入输出格式的必要性。 3. 键值对处理:深入理解Writable...

    hadoop-demo

    至于文件名"hadoopSecond",这可能是一个目录或文件,表示这是第二个Hadoop相关的练习或者项目,可能是在前一个示例的基础上进行了更深入的学习和实践,例如,可能涉及更复杂的数据处理逻辑,或者引入了Hadoop生态...

    hadoop段海涛老师八天实战视频

    第一天 hadoop的基本概念 伪分布式hadoop集群安装 hdfs mapreduce 演示 01-hadoop职位需求状况.avi 02-hadoop课程安排.avi 03-hadoop应用场景.avi 04-hadoop对海量数据处理的解决思路.avi 05-hadoop版本选择和...

    hadoop面试题分解.pdf

    1. 杀死一个 job:hadoop job -list 得到 job 的 id,然后执行 hadoop job -kill jobId 2. 删除 HDFS 上的目录:hadoop fs -rmr /tmp/aaa 3. 增加一个新的存储节点:在新的节点上执行 Hadoop daemon.sh start ...

    hadoop-2.7.4 单机伪分布配置文件

    总的来说,理解并正确配置这些核心配置文件是部署和管理Hadoop集群的第一步,无论是单机伪分布还是全分布式环境。通过这样的本地模拟,开发者可以在不占用实际集群资源的情况下进行开发、调试和性能测试,为后续的大...

Global site tag (gtag.js) - Google Analytics