`
justinyao
  • 浏览: 40487 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

hadoop自带的wordcount

 
阅读更多

1、通过hadoop的命令在HDFS上创建/tmp/workcount目录,命令如下:bin/hadoop fs -mkdir /tmp/wordcount

 

2、通过copyFromLocal命令把本地的word.txt复制到HDFS上,命令如下:bin/hadoop fs -copyFromLocal /home/grid/word.txt  /tmp/wordcount/word.txt

 

3、通过命令运行例子,使用命令如下:bin/hadoop jar hadoop-examples-0.20.203.0.jar wordcount /tmp/wordcount/word.txt  /tmp/wordcount/out

 

4、查看运行结果,使用命令: bin/hadoop fs -ls /tmp/wordcount/out查看例子的输出结果,发现有两个文件夹和一个文件,使用命令查看part-r-00000文件, bin/hadoop fs -cat /tmp/wordcount/out/part-r-00000可以查看运行结果。

分享到:
评论

相关推荐

    使用hadoop实现WordCount实验报告.docx

    3. **运行WordCount程序**:调用Hadoop自带的Java程序`hadoop-mapreduce-examples-2.7.7.jar`,指定输入和输出参数。 ### 四、实验结果 成功运行WordCount后,可以在指定的输出文件夹(例如/output)中看到统计...

    hadoop运行wordcount实例

    ### Hadoop运行WordCount实例详解 #### 一、Hadoop简介与WordCount程序的重要性 Hadoop 是一个由Apache基金会所开发的分布式系统基础架构。它能够处理非常庞大的数据集,并且能够在集群上运行,通过将大数据分割...

    ubuntu运行hadoop的wordcount

    - 上述命令中,`hadoop-0.20.2-examples.jar`是Hadoop自带的例子程序集合,包含了WordCount等示例程序。 - `wordcount`表示执行WordCount任务。 - `input`和`output`分别代表输入文件夹和输出文件夹路径。 #### ...

    hadoop的wordcount实例代码

    Hadoop的WordCount实例代码解析 Hadoop的WordCount实例代码是Hadoop MapReduce编程模型的经典示例,通过对大文件中的单词出现次数的统计,展示了MapReduce编程模型的基本思想和实现细节。 Hadoop MapReduce编程...

    hadoop——wordcount

    代码啊代码,活生生的代码啊,不是我写的是hadoop自带的代码啊

    单词统计WordCount-hadoop程序

    wordcount单词统计,hadoop程序,可直接放在hadoop环境中运行

    实验项目 MapReduce 编程

    在Eclipse或IDEA中,开发者创建了一个新的Java包,仿照Hadoop自带的WordCount.java,编写了自己的WordCount程序。完成后,将程序打包成JAR文件,上传至Hadoop集群,并提交作业运行。运行结果可以通过Hadoop的Web界面...

    Hadoop环境搭建与WordCount实例浅析.pdf

    【Hadoop环境搭建与WordCount实例浅析】 Hadoop是一个分布式计算框架,广泛应用于大数据处理。要搭建Hadoop环境并实现WordCount实例,你需要遵循以下步骤: 1. **环境准备**: - 首先,你需要一个Linux操作系统...

    wordcount:使用Java的Hadoop MapReduce单词计数

    字数 使用Java的Hadoop MapReduce字数统计 运行: hadoop jar wordcount.jar "input_folder" "output_folder" “ input_folder”和“ output_folder”是HDFS上的文件夹。

    WordCount详解

    WordCount是Hadoop自带的亦例程序之一,整个程序虽然简单却涵盖了 MapReduce 的最基本使用方法。一般我们学习一门程序设计语言,最开始上手的程序都是“HelloWorld”, 可以说 WordCount 就是学习掌握 Hadoop ...

    hadoop-2.7.3.tar.gz 下载 hadoop tar 包下载

    安装完成后,用户可以运行Hadoop自带的WordCount示例程序,来验证Hadoop的安装是否成功。WordCount程序会统计文本文件中每个单词出现的次数,这是MapReduce最基础的应用场景。 在实际应用中,Hadoop常被用于大数据...

    Hadoop的配置及运行WordCount.docx

    在本文档中,我们将深入探讨如何配置和运行Hadoop,并以经典的WordCount程序为例进行实践。Hadoop是一个开源的分布式计算框架,广泛应用于大数据处理,它允许数据在集群中的多台机器上并行处理,提高了处理效率。 ...

    大数据技术基础实验报告-Hadoop集群的使用和管理.doc

    本实验报告将深入探讨Hadoop集群的启动、管理和使用,以及如何运行Hadoop自带的WordCount示例程序。 **一、Hadoop集群的启动与关闭** 1. **启动集群**:使用`start-all.sh`脚本启动整个Hadoop集群,包括NameNode、...

    hadoop-3.1.0.rar windows 环境依赖

    8. **运行示例程序**:你可以尝试运行Hadoop自带的示例程序,如WordCount,来测试你的安装是否成功。 在Windows环境中,由于缺少原生支持,你可能需要使用像cygwin这样的模拟Unix环境,或者使用像Scoop这样的包管理...

    hadoop-2.7.2.zip

    在测试阶段,你可以使用Hadoop自带的WordCount示例程序来验证安装是否成功。WordCount是一个简单的应用,统计文本文件中每个单词出现的次数,展示了MapReduce的基本工作原理。此外,你还可以使用Hadoop的其他工具,...

    win10下编译过的hadoop jar包--hadoop-2.7.2.zip

    一旦Hadoop环境配置完成,你可以尝试运行Hadoop自带的示例程序,如WordCount,来验证安装是否成功。WordCount程序会统计文本文件中每个单词出现的次数,是MapReduce的经典示例。 总的来说,Hadoop 2.7.2在Win10上的...

    hadooponwindows-master.rar

    7. **测试与应用**:可以使用Hadoop自带的WordCount示例验证安装是否成功,或者开发自己的MapReduce程序来处理大数据。 8. **可视化工具**:例如Ambari,它可以简化Hadoop集群的部署、管理和监控,对于Windows环境...

    hadoop-common-2.7.6 win

    8. **运行示例程序**: 可以尝试运行Hadoop自带的WordCount程序,验证环境是否配置成功。 9. **安全配置** (可选): 如果在生产环境中,可能还需要考虑安全性配置,例如启用Kerberos认证,或者使用Hadoop的Secure ...

    hadoop-3.2.2.tar.gz

    5. **运行示例**: 可以通过Hadoop自带的WordCount程序测试集群是否正常运行。 Hadoop 3.2.2相较于之前的版本,引入了一些改进和新特性,例如: - YARN Resource Manager的高可用性,确保服务不会因单点故障而中断。...

Global site tag (gtag.js) - Google Analytics