`
qindongliang1922
  • 浏览: 2188414 次
  • 性别: Icon_minigender_1
  • 来自: 北京
博客专栏
7265517b-f87e-3137-b62c-5c6e30e26109
证道Lucene4
浏览量:117659
097be4a0-491e-39c0-89ff-3456fadf8262
证道Hadoop
浏览量:126063
41c37529-f6d8-32e4-8563-3b42b2712a50
证道shell编程
浏览量:60013
43832365-bc15-3f5d-b3cd-c9161722a70c
ELK修真
浏览量:71396
社区版块
存档分类
最新评论

图解shell命令运行Hadoop1.2的WordCount例子

阅读更多
在hadoop1.2.x的版本中,直接运行自带的WordCount的例子会报异常,这个原因是因为它路径的问题,所以,想要正常运行自带的例子,我们还是需要做一些准备工作的,当然你可以直接在eclipse中修改它的源码然后重新编译,再运行,这样一来比较麻烦,特别是对一些刚学习的朋友来说,在eclipse配置个hadoop也许都得折腾半天,所以本篇,散仙会介绍使用shell命令的改变它的编译路径,并重新打包,然后执行,作用跟eclipse改源码一样,但是步骤会很简洁。

下面散仙进入正题,在这之前,确保你的Hadoop的环境已经可以正常工作,如果不懂得怎么部署安装hadoop,那么没关系,可以参考散仙的前几篇博客进行部署。


总结一下,总共需要这5步来完成,如一下截图(散仙的hadoop是直接root的根目录下的)

第一步



第二步


第三步


第四步


第五步


下面是散仙进行测试的文本文件,内容截图如下:



向HDFS上上传测试文件




向Hadoop提交作业



查看输出效果



网页上的输出效果


至此,我们已经可以完美运行WordCount的例子了,注意几点第一,编译的路径不要写错。第二,在上传文件进行测试时候,一定要关闭防火墙,否则会报异常的,关闭命令service iptables stop 。
  • 大小: 13.2 KB
  • 大小: 21.9 KB
  • 大小: 26 KB
  • 大小: 19.6 KB
  • 大小: 14.5 KB
  • 大小: 11.8 KB
  • 大小: 9.9 KB
  • 大小: 15.6 KB
  • 大小: 48.1 KB
  • 大小: 33.4 KB
0
0
分享到:
评论

相关推荐

    使用hadoop实现WordCount实验报告.docx

    3. **运行WordCount程序**:调用Hadoop自带的Java程序`hadoop-mapreduce-examples-2.7.7.jar`,指定输入和输出参数。 ### 四、实验结果 成功运行WordCount后,可以在指定的输出文件夹(例如/output)中看到统计...

    ubuntu运行hadoop的wordcount

    - 上述命令中,`hadoop-0.20.2-examples.jar`是Hadoop自带的例子程序集合,包含了WordCount等示例程序。 - `wordcount`表示执行WordCount任务。 - `input`和`output`分别代表输入文件夹和输出文件夹路径。 #### ...

    hadoop运行wordcount实例

    ### Hadoop运行WordCount实例详解 #### 一、Hadoop简介与WordCount程序的重要性 Hadoop 是一个由Apache基金会所开发的分布式系统基础架构。它能够处理非常庞大的数据集,并且能够在集群上运行,通过将大数据分割...

    Hadoop mapreduce实现wordcount

    在实际环境中,我们需要配置 Hadoop 集群,设置输入文件路径,编译并打包 WordCount 程序,最后通过 Hadoop 的 `hadoop jar` 命令提交作业到集群运行。调试时,可以查看日志输出,检查错误信息,优化性能。 通过...

    hadoop 运行成功代码(wordcount)

    3. 使用Hadoop命令提交WordCount程序,指定输入和输出路径。 4. Hadoop集群执行任务,完成后在指定的输出路径下生成结果文件。 在实际应用中,Hadoop WordCount的示例不仅可以帮助理解MapReduce的工作原理,还常...

    hadoop之wordcount例程代码

    运行WordCount程序时,Hadoop会自动将数据分发到集群的各个节点上,每个节点上的TaskTracker会执行对应的Map任务。当Map任务完成,中间结果会被排序和分区,然后传递给Reduce任务。Reduce任务最终将结果写回到HDFS,...

    Hadoop集群-WordCount运行详解

    在linux环境下部署的Hadoop集群-WordCount运行详解。

    hadoop入门例子wordcount

    hadoop入门例子wordcount

    hadoop1.2.1修改WordCount并编译

    在编译完成后,我们可以使用以下命令来运行 WordCount 程序: ``` hadoop jar WordCount.jar org.apache.hadoop.examples.WordCount input output ``` 其中 input 是输入文件的路径,output 是输出文件的路径。 ...

    Hadoop开发WordCount源码详细讲解

    Hadoop开发WordCount源码程序详细讲解,每一行都带注释说明。

    hadoop的wordcount简单实例

    这是一个wordcount的一个简单实例jar包,仅仅用来做测试。...map类:org.apache.hadoop.wordcount.WordCountMapReduce$WordCountMapper reduce类 org.apache.hadoop.wordcount.WordCountMapReduce$WordCountReducer

    hadoop-wordcount测试程序

    hadoop-wordcount测试程序,jar包,单词统计的不二之选

    Hadoop集群-WordCount运行详解.pdf

    1.2.2运行例子步骤是在集群上运行WordCount程序,以input目录作为输入,output目录作为输出。1.2.3查看结果则是在MapReduce作业完成后,到指定的output目录下检查输出结果,通常输出结果以part-r-00000的形式存储。 ...

    hadoop实现wordcount

    在"wordcount"例子中,mapper接收文本行,对每一行进行分词,生成键值对(单词作为key,出现次数1作为value)。 接着是Reduce阶段,Hadoop将相同的key分组并将对应的values(出现次数)相加,从而得到每个单词的...

    hadoop wordcount 打包部署

    ### Hadoop WordCount项目打包与部署详解 #### 一、Hadoop WordCount...通过以上步骤,可以成功地在Hadoop环境下部署并运行WordCount程序。这不仅是一个基础的数据处理练习,也是深入了解Hadoop生态系统的重要一步。

    WordCount2_hadoopwordcount_

    在标题中的"WordCount2_hadoopwordcount_"可能指的是Hadoop WordCount的第二个版本,通常是在Hadoop 2.x环境下运行。这个程序的核心任务是对输入文本进行分词,统计每个单词出现的次数,并将结果输出。在这个过程中...

    hadoop demo wordcount

    6. Shell命令:在Hadoop环境中提交和监控作业,如使用`hadoop fs`和`hadoop jar`命令。 通过深入分析和实践这个"BigdataProject"中的Hadoop WordCount示例,你不仅可以掌握Hadoop的基础知识,还能为后续的大数据...

    hadoop mapreduce wordcount

    <artifactId>wordcount <version>0.0.1-SNAPSHOT <packaging>jar <name>wordcount <url>http://maven.apache.org</url> <project.build.sourceEncoding>UTF-8 <groupId>org.apache.hadoop ...

    hadoop-1.2.1运行WordCount

    ### Hadoop-1.2.1 运行WordCount实例详解 #### 一、环境准备与搭建 在开始运行WordCount实例之前,首先确保已经按照之前的步骤完成了Hadoop-1.2.1环境的搭建。这包括但不限于安装JDK、配置Hadoop环境变量以及设置...

Global site tag (gtag.js) - Google Analytics