`
younglibin
  • 浏览: 1214074 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

执行hadoop 自带的例子

 
阅读更多

 

1.在 hadoop 目录下创建  localfile  目录 ,保存本地的 文件, mkdir  localfile

2.创建 文件  word-count 文件 ,输入 文件内容  vi word-count

3.创建 远程 文件目录:  hadoop fs -mkdir test-examples   

4.hadoop fs -ls

Warning: $HADOOP_HOME is deprecated.

 

Found 1 items

drwxr-xr-x   - hadoop supergroup          0 2013-06-03 13:49 /user/hadoop/test-examples

 

5. 将 word-count 文件上传  : 

hadoop fs -put world-count /user/hadoop/test-examples/

 

6. 执行 自带 的例子:

hadoop jar hadoop-examples-1.0.4.jar (指定例子所在jar包 ) wordcount (指定程序的名字) /user/hadoop/test-examples/world-count(输入参数)  /user/hadoop/test-examples/world-count-result(输出结果)

7.查看输出结果:

hadoop fs -cat /user/hadoop/test-examples/world-count-result/part-r-00000

8.将输出结果 cp 到本地:

hadoop fs -copyToLocal  /user/hadoop/test-examples/world-count-result  localFile/

 

 

 

分享到:
评论

相关推荐

    hadoop文档, hdfs mapreduce,环境搭建,例子介绍等

    - **监控与管理**:使用Hadoop自带的Web界面监控集群状态。 #### 四、示例应用 为了更好地理解Hadoop的实际应用,我们可以通过一个经典的WordCount示例来演示MapReduce的工作流程。 1. **Map阶段**:读取输入文件,...

    Linux下Hadoop伪分布式配置及操作命令

    可以通过执行Hadoop自带的启动脚本来完成这一过程。一般情况下,启动命令会先启动NameNode,然后启动DataNode。 6. Hadoop使用: Hadoop的使用包括运行测试例子(例如WordCount)、编写并运行Hadoop应用程序以及...

    ubuntu运行hadoop的wordcount

    - 上述命令中,`hadoop-0.20.2-examples.jar`是Hadoop自带的例子程序集合,包含了WordCount等示例程序。 - `wordcount`表示执行WordCount任务。 - `input`和`output`分别代表输入文件夹和输出文件夹路径。 #### ...

    hadoop2.6.1针对window的编译版本

    6. **启动和测试**:通过运行Hadoop的启动脚本启动各个守护进程,然后可以通过Hadoop自带的工具(如HDFS的`fs`命令或YARN的`job`命令)测试Hadoop集群是否正常工作。 在Windows上部署Hadoop可能会遇到一些挑战,...

    Hadoop MapReduce Cookbook 源码

    8. **调试与监控**:介绍如何使用Hadoop自带的工具监控作业性能,定位并解决问题。 通过本书的学习,读者不仅能掌握MapReduce的基本操作,还能了解到如何通过实践提升Hadoop系统的效率和稳定性。书中提供的源码对于...

    hadoop2.7.1tar包.zip

    在安装完成后,你可以通过运行Hadoop自带的一些例子来验证安装是否成功,例如WordCount程序,它统计文本文件中每个单词出现的次数。这将涉及到创建HDFS上的输入目录,提交MapReduce作业,以及查看输出结果。 总之,...

    windows7-64bit-hadoop本地库lib和bin

    搭建完成后,可以通过运行Hadoop自带的示例程序,如WordCount,来检查环境是否配置正确。这个例子会统计文本文件中的单词出现次数,展示了MapReduce的基本工作原理。 总之,“windows7-64bit-hadoop本地库lib和bin...

    Hadoop源码分析 完整版 共55章

    - **序列化机制**:为了满足Hadoop MapReduce和HDFS的通信需求,Hadoop采用了自定义的序列化机制而不是Java自带的序列化方式。这一机制主要体现在`org.apache.hadoop.io`包中的各类可序列化对象,它们实现了`...

    linux下hadoop集群搭建

    使用Hadoop自带的工具如`hadoop dfsadmin`或`hadoop fsck`检查HDFS的状态,使用`jps`命令确认各服务是否正常运行。一旦所有服务启动并运行,Hadoop集群就准备好了处理分布式任务。 在集群运行过程中,监控是非常...

    Hadoop平台安装部署手册

    在这个例子中,我们有以下角色分配: - rhel052作为NameNode和JobTracker,负责Hadoop集群的元数据管理和任务调度。 - rhel061作为SecondNameNode,备份NameNode的数据。 - rhel062、063、067、068作为Datanodes,...

    Hadoop大数据平台构建、测试Job教学课件.pptx

    在这里,我们将运行Hadoop自带的WordCount示例,这是一个计算文件中单词出现次数的经典应用。使用`yarn jar /opt/hadoop-2.8.5/share/hadoop/mapreduce/hadoop-mapreduce-example-2.8.5.jar wordcount /input/wc....

    Cenos6.5 vmware hadoop2.6.0 完全分式集群

    2. **执行 MapReduce 任务**: 使用 Hadoop 自带的例子程序测试 MapReduce 任务的执行情况。 通过上述步骤,我们已经成功地在 CentOS 6.5 环境下构建了一个基于 VMware 的 Hadoop 2.6.0 完全分布式集群。这样的集群...

    Hadoop的配置及运行WordCount.docx

    - 下载和编译WordCount示例,Hadoop的源码包中包含了这个例子。在Hadoop的src目录下,使用Maven或Ant构建项目,生成可执行的jar文件。 - 创建一个文本文件,输入一些单词,作为WordCount的输入数据。将文件上传到...

    Hadoop 权威指南(中文前三章)

    - **监控工具**: 介绍了如何使用Hadoop自带或其他第三方工具来监控集群的状态。 **10.3 维护** - **日常维护**: 说明了如何进行日常的维护工作,确保Hadoop集群稳定运行。 #### 十一、Pig简介 **11.1 安装和运行...

    Linux中Centos7搭建Hadoop服务步骤

    2. **测试MapReduce任务**: 使用Hadoop自带的例子程序进行简单的MapReduce测试。 #### 十、总结 本文详细介绍了在CentOS 7上搭建Hadoop集群的具体步骤,包括安装JDK、配置SSH无密码登录、配置Hadoop核心文件等关键...

    hue工作流使用说明

    - 将Oozie自带的例子和ShareLib部署到HDFS的home目录。 3. 工作流操作: - 通过命令行和图形化界面操作Oozie工作流。 - 工作流定义了Hadoop作业的执行顺序,一旦启动,就会按既定顺序执行,直到完成。 - 需要...

    hive开发资料.pdf

    在例子中,使用的 Hadoop 版本为 0.19.2,而 Hive 支持多个版本的 Hadoop。在单机简单测试环境中,可以利用 Hive 自带的 Derby 数据库存储元数据,只需启动 Hive 命令行即可开始使用。然而,这种方法不适用于多用户...

    Oozie的安装与配置.docx

    - 安装并运行Oozie自带的例子,例如Map-Reduce示例,首先解压`oozie-examples.tar.gz`,然后根据应用类型修改配置文件,提交作业并监控其运行状态。 在实际操作中,确保所有步骤按照正确顺序执行,并检查每个步骤...

Global site tag (gtag.js) - Google Analytics