`
benson76
  • 浏览: 34133 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

运行Hadoop测试代码

 
阅读更多

$ cd $HADOOP_HOME

$ ant jar-test

$ bin/hadoop jar build/hadoop-0.19.1-dc-test.jar

//从列表中选择想运行的程序TEST_PROGRAM

$ bin/hadoop jar build/hadoop-0.19.1-dc-test.jar TEST_PROGRAM [args...]

 

若报错:

Caused by: java.lang.ClassNotFoundException: org.apache.jasper.runtime.JspSourceDependent

这种类找不到的错误,就是classpath没设好,没有把需要的class包含进来。

解决:

先查找缺失的类在哪个包,上面的类在lib/jsp-2.1/jsp-2.1.jar,所以要把jsp-2.1.jar放到lib下,或者改classpath。

 

对于测试框架中的NNThroughputBenchmark类,源码中没有把它编译进*-test.jar,查看build.xml后知道在AllTestDriver.java里面加上:

pgd.addClass("nnthroughput", NNThroughputBenchmark.class, "measure namenode throughput");

重新编译test包运行。

 

自己添加的新测试类,如果想用单机测试Namenode性能,需要在NameNode.createNameNode(argv, conf)前修改conf:

    //disable modification of access time for open/list/...
    conf.setInt("dfs.access.time.precision", 0);

    FileSystem.setDefaultUri(conf, "hdfs://localhost:" + 0);
    conf.set("dfs.http.address", "0.0.0.0:0");
    NameNode.format(conf);

 

 

 

运行单元测试:ant test-core -Dtestcase=org.apache.hadoop.hdfs.TestNNThroughputBenchmark

 

分享到:
评论

相关推荐

    hadoop源代码存档

    1. hadoop-common:包含Hadoop运行所需的通用库和服务,如网络通信、配置管理、安全认证等。 2. hadoop-hdfs:实现了HDFS,包括NameNode(元数据管理)、DataNode(数据存储)和Secondary NameNode(元数据备份)的...

    hadoop 运行成功代码(wordcount)

    为了运行Hadoop项目,你需要一个配置完善的Hadoop环境,包括安装Hadoop和配置Hadoop的环境变量。同时,为了方便管理和构建项目,通常会使用Maven作为构建工具。Maven是一个项目管理和依赖管理工具,可以帮助我们管理...

    hadoop测试代码

    centos7安装hadoop2.6.0后,使用eclipse安装mapreduce插件,并测试是否正常使用

    Hadoop源代码分析(一)

    源码分析还将涉及Hadoop的测试框架,如Junit和Pigunit,以及如何运行和理解单元测试。 6. **性能优化**:通过源码,我们可以找到可能的性能瓶颈,并了解如何进行优化,比如通过调整配置参数、改进数据压缩算法或者...

    Win本地测试hadoop

    在Windows系统上进行Hadoop的本地测试可以帮助开发者在不依赖集群的情况下,快速验证代码功能和性能。 描述中的关键词“Windows本地”意味着我们将讨论如何在个人计算机上的Windows操作系统中设置Hadoop,以便进行...

    hadoop源代码打包归档

    7. **测试与验证**:在打包前,最好运行单元测试确保代码功能正常,可以使用Maven的`mvn test`命令来执行测试。 8. **版本控制**:每次打包都应创建一个新的版本号,遵循语义化版本管理(SemVer),以便追踪和回溯...

    hadoop 源代码归档

    6. **Hadoop Shell命令**:Hadoop提供了丰富的命令行工具,如`hadoop fs`用于执行文件操作,`hadoop jar`用于运行MapReduce程序,`hadoop dfsadmin`用于管理系统设置。 7. **Hadoop生态系统**:除了核心组件,...

    hadoop-2.0.4官方源代码

    4. **故障恢复与容错机制**:Hadoop 2.0.4增强了故障检测和自动恢复机制,确保了集群的稳定运行。 5. **性能优化**:包括网络通信优化、I/O优化等,提升了整体处理速度。 6. **API和工具更新**:提供更丰富的编程...

    Hadoop源代码分析(完整版)

    本资源“Hadoop源代码分析(完整版)”深入探讨了Hadoop的核心组件及其内部工作原理,这对于理解Hadoop的运行机制以及进行二次开发至关重要。 Hadoop主要由两个核心部分组成:Hadoop Distributed File System (HDFS) ...

    window环境整合运行Hadoop资源包(压缩包以及所需依赖)

    在Windows环境下运行Hadoop是一项挑战,因为Hadoop最初是为Linux设计的。然而,通过一些配置和工具,我们可以在Windows上搭建Hadoop环境。...通过耐心的配置和测试,你可以在Windows环境中成功搭建并运行Hadoop。

    Hadoop源代码分析完整版.rar

    《Hadoop源代码分析》 Hadoop作为大数据处理的核心组件,其源代码是理解分布式计算原理和技术实现的重要入口。...通过深入研究,我们不仅可以掌握Hadoop的运行机制,还能为构建自己的分布式系统提供理论支持。

    hadoop源代码code归档整理

    通过查看`org.apache.hadoop.fs.checksum`和`org.apache.hadoop.hdfs.protocol.proto`等包,我们可以了解到HDFS的数据校验和如何保证数据完整性,以及故障检测和恢复的实现。 6. 安全性:在Hadoop中,安全性是通过...

    hadoop资料,hadoop基础,Hadoop源代码eclipse编译教程

    5. 编译与运行:使用Eclipse的构建功能编译源码,然后可以通过Hadoop的本地模式或者伪分布式模式运行编译好的二进制文件进行测试。 Hadoop实战部分,尤其是"虚拟多台电脑",意味着你将学习如何在多台虚拟机上搭建...

    Eclipse中编译运行Hadoop-0.20.1源码

    在Eclipse中编译和运行Hadoop-0.20.1源码是开发者调试和理解Hadoop工作原理的重要步骤。Hadoop是一个开源的分布式计算框架,主要用于处理和存储大量数据。0.20.1版本是Hadoop的一个较早版本,尽管现在有更新的版本,...

    HADOOP案例及测试资料

    其次,"hadoop常见测试问题_自测试.docx"是针对Hadoop系统可能出现的问题和测试方法的文档,它列出了Hadoop在实际运行中可能遇到的故障点,并提供了自我检测和解决的方案,这对于运维人员和开发者来说是必不可少的...

    hadoop源代码部分

    Hadoop设计时考虑了高可用性和容错性,源代码中包含了大量的故障检测和恢复逻辑。学习这部分内容可以帮助你在构建分布式系统时考虑到这些关键因素。 8. **编程接口** Hadoop提供丰富的编程接口,如InputFormat和...

    hadoop_bayes代码下载

    解压后,用户可以查看代码结构,理解算法实现,甚至在自己的Hadoop环境中运行和测试。 这个代码库可能包括以下几个部分: 1. **src**:源代码目录,可能包含Java或Scala文件,实现了MapReduce任务和朴素贝叶斯算法...

    Hadoop集群程序设计与开发教材最终代码.zip

    - 单机模式:用于开发和测试,所有Hadoop进程都在一台机器上运行。 -伪分布式模式:在一个节点上模拟多节点集群,每个Hadoop进程独立运行。 - 完全分布式模式:在多台物理或虚拟机上部署,适用于生产环境。 6. ...

Global site tag (gtag.js) - Google Analytics