`

hadoop的测试实例

阅读更多
启动 Hadoop
1.格式化文件系统
      hadoop namenode –format
2. 启动hadoop
     启动关闭所有服务 start-all.sh/stop-all.sh
     启动关闭HDFS: start-dfs.sh/stop-dfs.sh
     启动关闭MapReduce:  start-mapred.sh/stop-mapred.sh
3. 用jps命令查看进程,确保有   namenode,dataNode,JobTracker,TaskTracker
     
第三部分:Hadoop UI 介绍
Hadoop 重要的端口
1.Job Tracker 管理界面:50030
2.HDFS 管理界面 :50070
3.HDFS通信端口:9000
4.MapReduce通信端口:9001
常用访问页面
1. HDFS 界面
        http://hostname:50070
2. MapReduce 管理界面
        http://hostname:50030

第四部分:运行Word Count 示例
相关步骤及命令
1.先在本地磁盘上建立两个文件file1和file2
      $ echo ”Hello world Bye world" > >~/input/file1
      $ echo ”hello hadoop bye hadoop” > >~/input/file2
2.在HDFS上建立一个input目录
       $ hadoop fs -mkdir /tmp/input
3.将file1和file2拷贝到hdfs的input目录下
       $ hadoop fs -put input/* /tmp/input
4.检查hdfs上有没有file1,file2
     $ hadoop fs -ls /tmp/input
5.执行wordcount
   hadoop jar hadoop-examples-1.0.0.jar wordcount  /tmp/input  /tmp/output
6.运行完成,查看结果
   hadoop fs -cat /output/part-r-00000


第五部分:集成 Eclipse 开发环境
通过 Eclipse 编写 Hadoop 程序
1.导入hadoop-core.jar及hadoop/lib下所有Jar包
2.加入Hadoop配置文件,包括conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml,并修改相应参数。
本节课程小结
掌握了在Windows ,Linux(ubuntu)上安装Hadoop 单节点伪分布式安装
初次体验了Hadoop运行的WordCounter程序
了解了Hadoop UI
掌握了Hadoop 集成到 Eclipse的情况
私塾在线学习网原创内容,转载请注明出处【 http://sishuok.com/forum/blogPost/list/0/5337.html】
分享到:
评论

相关推荐

    hadoop权威指南天气测试案例和执行脚本

    在这个压缩包文件中,包含的“天气测试案例”和“执行脚本”旨在帮助读者更好地理解和实践Hadoop在实际问题解决中的应用。 Hadoop是基于Google的MapReduce编程模型和GFS分布式文件系统理念开发的开源框架,主要用于...

    HADOOP案例及测试资料

    【HADOOP案例及测试资料】是一份涵盖了Hadoop平台搭建、实例运行、源代码分析、测试问题以及基准测试的综合资料集。这份压缩包包含了多个文档,它们分别提供了不同方面的深入理解和实践指导。 首先,"Hadoop平台...

    luncen写入hadoop实例

    6. **测试与验证**:在完成写入操作后,你可以通过Hadoop的命令行工具(如hadoop fs -cat或hadoop fs -ls)检查数据是否成功写入HDFS,同时编写查询程序验证Lucene索引是否能够正确工作。 总之,"luncen写入Hadoop...

    Windows下使用Hadoop实例

    ### Windows下使用Hadoop实例详解 #### 一、概述 在Windows环境下搭建并运行Hadoop实例,需要经过一系列步骤,包括但不限于安装Cygwin、配置Java环境、安装配置SSH服务等。本文旨在详细介绍如何在Windows操作系统...

    hadoop 安装实例

    【Hadoop安装实例详解】 Hadoop是一个开源的分布式计算框架,由Apache基金会开发,主要用于处理和存储海量数据。本文将详细介绍在Windows 7系统下,使用Cygwin环境进行Hadoop安装的过程,同时提供图文指南。 1. **...

    Hadoop之MapReduce编程实例完整源码

    包含完整实例源码,编译配置文件,测试数据,可执行jar文件,执行脚本及操作步骤。学习完此例子后,你能掌握MapReduce基础编程,及如何编译Java文件,打包jar文件,编写shell执行脚本等。后续学习还可以参看本人的...

    hadoop eclips 的插件 和实例程序

    总结来说,Hadoop Eclipse插件使得开发者能在熟悉的开发环境中编写、调试和测试Hadoop作业,极大地简化了Hadoop开发流程。通过实例程序的学习,不仅可以加深对Hadoop MapReduce机制的理解,还能提高实际操作能力。...

    新版Hadoop视频教程 段海涛老师Hadoop八天完全攻克Hadoop视频教程 Hadoop开发

    07-hadoop中的RPC应用实例demo.avi 08-hdfs下载数据源码跟踪铺 垫.avi 09-hdfs下载数据源码分析-getFileSystem.avi 10-hdfs下载数据源码分析-getFileSystem2.avi 第三天 mapreduce的原理和编程 01-hdfs源码...

    ubuntu运行hadoop的wordcount

    ### Ubuntu上运行Hadoop WordCount实例详解 #### 一、环境搭建与配置 在Ubuntu系统上部署并运行Hadoop WordCount实例,首先需要确保已经安装了Hadoop环境,并且版本为hadoop-0.20.2。此版本较旧,主要用于教学或...

    hadoop2.6 centos6.5 伪分布式环境部署 实例

    本文将详细介绍如何在 CentOS 6.5 环境中部署 Hadoop 2.6 伪分布式环境,包括环境准备、Hadoop 安装、配置和测试等步骤。 环境准备 在开始部署 Hadoop 之前,需要准备好 Linux 环境。这里选择 CentOS 6.5 作为操作...

    hadoop2.x编译实例

    ### Hadoop 2.x 编译实例详解 #### 一、环境准备与配置 本章节主要介绍如何在 CentOS 6.5 系统上搭建 Hadoop 2.2.0 的开发环境,并进行编译。 ##### 1.1 安装 JDK 在编译 Hadoop 前,首先需要安装 JDK 并配置其...

    4、hadoop 多节点部署和测试(HA_HDFS)

    在这个主题“4、Hadoop多节点部署和测试(HA_HDFS)”中,我们将深入探讨如何在高可用性(HA)模式下配置和测试Hadoop的HDFS(Hadoop分布式文件系统)组件。这里我们将详细讨论涉及的知识点: 1. **HDFS高可用性**:...

    tez about hadoop-2.7.1

    - **Container与Resource Management**:Tez利用YARN作为资源管理器,Task实例运行在YARN的Container中,实现任务的并行执行。 2. **Tez与Hadoop-2.7.1的集成**: - **YARN兼容性**:Hadoop-2.7.1引入了YARN作为...

    hadoop test

    【Hadoop测试与实践】 Hadoop是Apache软件基金会的一个开源框架,主要用于处理和存储大量数据。这个"hadop test"可能是指对Hadoop环境的测试或应用实例,旨在验证其功能、性能和稳定性。在大数据处理领域,Hadoop...

    hadoop-2.7.2.tar.gz

    3. Federation:NameNode Federation允许在一个Hadoop集群中部署多个NameNode实例,每个实例管理一部分命名空间,解决了单点瓶颈问题,提升了系统的扩展性。 4. Erasure Coding:2.7.2版本开始引入Erasure Coding,...

    Hadoop期中考试测试.pdf

    Hadoop期中考试测试.pdf 本资源摘要信息包含了Hadoop期中考试测试的重要知识点,涵盖了Hadoop的各个组件,包括HDFS、MapReduce、HBase、Hive、Presto、YARN、Flume、Zookeeper等。下面是根据给定的文件信息生成的...

    Hadoop权威指南 第二版(中文版)

     利用基准测试程序测试Hadoop集群  Hadoop基准测试程序  用户的作业  云上的Hadoop  Amazon EC2上的Hadoop 第10章 管理Hadoop  HDFS  永久性数据结构  安全模式  日志审计  工具  监控  日志  度量  ...

Global site tag (gtag.js) - Google Analytics