`
ycljf86
  • 浏览: 78088 次
  • 性别: Icon_minigender_1
  • 来自: 苏州
社区版块
存档分类
最新评论

测试hadoop

 
阅读更多
首先你要理解hadoop世界中的 文件系统 HDFS 和 我们常用的文件系统(FAT EXT NTFS)不是同一个概念。

1 给HDFS 建一个 input 文件夹(放数据)  output 文件夹(出结果)
   hadoop fs -mkdir -p  /user/root/input
2 通过命名把本地文件系统的数据 放到 HDFS 里面 的input  文件夹 里面
   hadoop fs -put /usr/hadoop/input/*   /user/root/input
3 运行你的job
4 到output里面去查看结果 ,通常是通过url 访问

可能需要用到的命名
删除HDFS input文件夹
hadoop fs -rm -r /user/root/input


检查你的节点状态



检查整个集群的情况
http://192.168.0.105:50070/


output已经存在



  • 大小: 430.6 KB
  • 大小: 208.6 KB
  • 大小: 91.9 KB
分享到:
评论

相关推荐

    Win本地测试hadoop

    标题“Win本地测试hadoop”指的是在Windows操作系统环境下搭建Hadoop环境进行本地测试,以便于进行快速的开发和迭代工作。Hadoop是一个开源的分布式计算框架,由Apache基金会开发,主要用于处理和存储大规模数据。在...

    linux下maven在eclipse安装测试Hadoop收集.pdf

    Linux下Maven在Eclipse中安装测试Hadoop的收集 Maven是一种流行的项目管理和构建工具,它可以帮助开发者快速地构建和管理项目。在Linux环境下,使用Maven可以轻松地构建和管理项目。在本文中,我们将介绍如何在...

    Hadoop 安装文档 性能测试

    ### Hadoop 安装与性能测试综合指南 #### 一、前言 Hadoop是一款开源的大数据处理框架,主要用于分布式存储和大规模数据集的并行处理。本文将详细介绍Hadoop在Ubuntu系统上的安装过程以及初步的性能测试方法,旨在...

    linux下maven在eclipse安装测试Hadoop.pdf

    以下将详细讲解如何在Linux上安装Maven,配置环境变量,以及如何在Eclipse中创建和测试Hadoop项目。 首先,你需要从Maven的官方网站上下载最新版本的Maven。下载完成后,将其解压缩到你的用户根目录下,例如`~/.m2`...

    hadoop大数据平台性能测试方案.doc

    在本文档中,Hadoop的性能测试包括了Hadoop集群的性能测试、Hadoop应用程序的性能测试等。 Hive的性能测试 Hive是大数据平台中的一个重要组件。Hive的性能测试是指对Hive的性能进行评估和测试。在本文档中,Hive的...

    4、hadoop 多节点部署和测试(HA_HDFS)

    在这个主题“4、Hadoop多节点部署和测试(HA_HDFS)”中,我们将深入探讨如何在高可用性(HA)模式下配置和测试Hadoop的HDFS(Hadoop分布式文件系统)组件。这里我们将详细讨论涉及的知识点: 1. **HDFS高可用性**:...

    win环境 hadoop 3.1.0安装包

    10. **测试Hadoop**: 使用`hadoop fs -ls /`命令检查HDFS是否工作正常。如果一切顺利,你应该能看到一个名为`/tmp`的目录。 11. **使用Hadoop**: 你可以编写MapReduce程序,并使用Hadoop的命令行工具提交执行。...

    hadoop2.6.0插件+64位winutils+hadoop.dll

    总的来说,"hadoop2.6.0插件+64位winutils+hadoop.dll"这个压缩包为Windows用户提供了一个在本地运行和测试Hadoop2.6.0的便捷途径。通过了解和掌握这些组件的工作原理以及如何在Windows环境下配置和使用它们,开发者...

    伪分布式下Hadoop测试yarn启用cgroup对资源隔离的影响

    ### 伪分布式下Hadoop测试YARN启用Cgroup对资源隔离的影响 #### 一、引言 在大规模数据处理环境中,资源的有效管理和隔离至关重要。Apache Hadoop作为一个强大的分布式计算框架,其资源管理器YARN(Yet Another ...

    hadoop测试(1)---HDFS文件操作 完整测试代码

    hadoop测试(1)---HDFS文件操作 完整测试代码, 相关文章:http://www.cnblogs.com/yinpengxiang/archive/2011/07/03/2096605.html

    hadoop-test-report.zip_hadoop_hadoop word_压力测试报告

    3. **集群扩展性**:测试Hadoop集群在增加节点时的性能提升程度。 4. **资源管理**:考察YARN(Yet Another Resource Negotiator)如何有效分配和管理资源。 5. **稳定性**:长时间运行压力测试以检测系统崩溃、数据...

    hadoop2.7.x_winutils_exe&&hadoop_dll

    一旦配置完成,你可以通过运行`hadoop fs -ls`命令来测试Hadoop是否正常工作。如果一切正常,你应该能看到HDFS的根目录内容。 6. **运行MapReduce任务**: 在Windows上运行Hadoop MapReduce任务还需要配置Java...

    hadoop2.6.5中winutils+hadoop

    然而,随着Hadoop的普及,开发者们也找到了在Windows上搭建和测试Hadoop环境的方法。标题提到的"hadop2.6.5中winutils+hadoop"就是解决这个问题的关键组件。 `winutils.exe`是Hadoop在Windows环境下运行的一个必备...

    hadoop各个版本,用于测试需要

    7. **容错性**:测试Hadoop在节点故障时的恢复能力,如NameNode或DataNode崩溃后能否快速重建数据和服务。 8. **可扩展性**:随着集群规模的变化,Hadoop是否能保持稳定的工作性能,测试时可模拟增加或减少节点数量...

    hadoop在windows上运行需要winutils支持和hadoop.dll等文件

    6. **测试Hadoop**:使用`hadoop fs -ls /`命令检查HDFS是否可用,或者运行一个简单的MapReduce示例,如WordCount,来测试Hadoop集群的计算功能。 在实际操作中,可能会遇到一些常见的问题,如端口冲突、权限问题...

    Hadoop2.7.0 安装文档

    为了确保Hadoop正常运行,可以通过运行简单的WordCount示例程序来测试Hadoop集群。将示例代码提交到MapReduce作业,观察输出结果。 13. **监控与维护**: 通过Hadoop的Web UI监控集群状态,确保所有服务正常运行...

    hadoop.dll & winutils.exe For hadoop-3.0.0

    总的来说,hadoop.dll和winutils.exe是Hadoop在Windows平台上的关键组件,它们使开发者和数据分析师能够在不访问外网的情况下,在本地系统上搭建和测试Hadoop环境,这对于学习、开发和实验Hadoop项目非常有用。

    hadoop.zip hadoop2.7.1安装包

    6. 测试Hadoop安装,例如通过`hadoop fs -ls /`命令检查HDFS是否正常工作。 在Windows上使用Hadoop还需要注意: 1. 设置HADOOP_HOME环境变量,并将winutils.exe的路径添加到PATH。 2. 配置`hadoop-env.cmd`,设置...

    hadoop-2.7.2.rar

    5. **测试Hadoop**:使用`hadoop fs -ls`命令检查Hadoop是否正常运行,能否访问HDFS。 为了实现更好的集群管理,可以使用Ambari这样的工具,它可以简化Hadoop的安装、配置和监控。另外,Hadoop 2.7.2还支持HBase、...

Global site tag (gtag.js) - Google Analytics