`
Hermosa_Young
  • 浏览: 254037 次
  • 来自: 上海
社区版块
存档分类
最新评论

hadoop运行WordCount实例

阅读更多

创建文件夹

 

1.创建文件夹"file"。


 
2.进入file文件夹,创建两个文本文件file1.txt和file2.txt,使file1.txt内容为"Hello World",而file2.txt的内容为"Hello Hadoop"。


 

3.在HDFS上创建输入文件夹in


  

4.上传本地file中文件到集群的in目录下


  

在集群上运行WordCount程序

 

5.以in作为输入目录,out目录作为输出目录。

已经编译好的WordCount的Jar在"/usr/hadoop"下面,就是"hadoop-examples-*.jar",所以在下面执行命令

时记得把路径写全了,不然会提示找不到该Jar包。


 

 

查看结果

 

6.查看HDFS上output目录内容,从上图中知道生成了三个文件,我们的结果在"part-r-00000"中。

7.查看结果输出文件内容


 

 

 

  • 大小: 78 KB
  • 大小: 86.8 KB
  • 大小: 74.8 KB
  • 大小: 81.1 KB
  • 大小: 201.9 KB
  • 大小: 227.3 KB
  • 大小: 90.2 KB
分享到:
评论

相关推荐

    hadoop运行wordcount实例

    ### Hadoop运行WordCount实例详解 #### 一、Hadoop简介与WordCount程序的重要性 Hadoop 是一个由Apache基金会所开发的分布式系统基础架构。它能够处理非常庞大的数据集,并且能够在集群上运行,通过将大数据分割...

    Hadoop的WordCount实例代码

    总之,Hadoop的WordCount实例是学习和理解分布式计算的一个重要起点,它展示了如何利用Hadoop框架进行数据处理,同时也为更复杂的分布式应用程序开发提供了基础。通过对WordCount的深入研究,我们可以更好地理解和...

    ubuntu运行hadoop的wordcount

    ### Ubuntu上运行Hadoop WordCount实例详解 #### 一、环境搭建与配置 在Ubuntu系统上部署并运行Hadoop WordCount实例,首先需要确保已经安装了Hadoop环境,并且版本为hadoop-0.20.2。此版本较旧,主要用于教学或...

    hadoop的wordcount实例代码

    Hadoop的WordCount实例代码解析 Hadoop的WordCount实例代码是Hadoop MapReduce编程模型的经典示例,通过对大文件中的单词出现次数的统计,展示了MapReduce编程模型的基本思想和实现细节。 Hadoop MapReduce编程...

    hadoop的wordcount简单实例

    这是一个wordcount的一个简单实例jar包,仅仅用来做测试。 map类:org.apache.hadoop.wordcount.WordCountMapReduce$WordCountMapper reduce类 org.apache.hadoop.wordcount.WordCountMapReduce$WordCountReducer

    hadoop之wordcount例程代码

    接下来,我们将深入探讨Hadoop的WordCount实例及其背后的原理。 首先,我们要理解Hadoop的核心组件——HDFS(Hadoop Distributed File System)和MapReduce。HDFS是Hadoop的分布式文件系统,将大文件分割成多个块并...

    Hadoop环境搭建及wordcount实例运行.pdf

    Hadoop环境搭建及wordcount实例运行.pdf

    hadoop-1.2.1运行WordCount

    ### Hadoop-1.2.1 运行WordCount实例详解 #### 一、环境准备与搭建 在开始运行WordCount实例之前,首先确保已经按照之前的步骤完成了Hadoop-1.2.1环境的搭建。这包括但不限于安装JDK、配置Hadoop环境变量以及设置...

    hadoop实现wordcount

    总结来说,"hadoop实现wordcount"是一个利用Hadoop的MapReduce模型处理大规模文本数据的实例,不仅可以统计词频,还可以扩展到情感分析等复杂任务。这个过程涉及到数据分片、并行处理、结果聚合等多个关键步骤,对于...

    hadoop demo wordcount

    学习Hadoop WordCount实例,你可以深入了解以下知识点: 1. Hadoop环境搭建:包括安装Hadoop,配置Hadoop集群(单机或伪分布式),以及设置Hadoop环境变量。 2. MapReduce编程模型:理解Map和Reduce函数的工作原理...

    WordCount2_hadoopwordcount_

    在标题中的"WordCount2_hadoopwordcount_"可能指的是Hadoop WordCount的第二个版本,通常是在Hadoop 2.x环境下运行。这个程序的核心任务是对输入文本进行分词,统计每个单词出现的次数,并将结果输出。在这个过程中...

    Java实现Hadoop下词配对Wordcount计数代码实现

    通过这个Wordcount实例,我们可以学习到Hadoop MapReduce的基本工作原理,同时也可以了解到如何在Java中编写Hadoop程序。这只是一个基本的应用,实际的Hadoop项目可能会涉及更复杂的逻辑和优化,如分块、分区、压缩...

    eclipse hadoop插件安装 运行WordCount

    3. **WordCount示例**:解释如何在Eclipse中创建和运行WordCount程序,提供了一个理解Hadoop MapReduce编程模型的实例。 4. **文档与截图**:提供的文档和截图帮助用户更好地理解每个步骤,确保能够顺利完成安装和...

    Hadoop环境搭建与WordCount实例浅析.pdf

    【Hadoop环境搭建与WordCount实例浅析】 Hadoop是一个分布式计算框架,广泛应用于大数据处理。要搭建Hadoop环境并实现WordCount实例,你需要遵循以下步骤: 1. **环境准备**: - 首先,你需要一个Linux操作系统...

    cygwin+eclipse搭建hadoop开发环境,运行wordcount

    "Hadoop环境搭建及wordcount实例运行"文档将带你了解Hadoop的基本工作流程,通过运行经典的WordCount程序来实践。WordCount是Hadoop入门的经典例子,它统计文本文件中每个单词出现的次数。你将学习如何创建MapReduce...

    hadoop学习之wordCount以及文件上传demo,经测试通过

    通过WordCount实例,我们可以了解Hadoop的分布式计算原理;通过文件上传,我们能掌握HDFS的读写操作。这些知识对于任何想要进入Hadoop领域的开发者来说都是至关重要的起点。在实际应用中,开发者可以根据需求对这些...

    Hadoop环境搭建及wordcount实例运行.docx

    。。。

    hadoop scala spark 例子项目,运行了单机wordcount

    【标题】中的“hadoop scala spark 例子项目,运行了单机wordcount”指的是一个使用Hadoop、Scala和Spark框架实现的简单WordCount程序。在大数据处理领域,WordCount是入门级的经典示例,用于统计文本文件中单词出现...

Global site tag (gtag.js) - Google Analytics