`
jandyfish
  • 浏览: 15992 次
社区版块
存档分类
最新评论

storm性能测试文档

阅读更多
Storm性能测试方案与结果
1. 目的
测试twitter storm的运行性能以及数据处理的延迟。
2. 环境
2.1服务器A
Cpu型号 E3-1230 V2
Cpu核数 8
Cpu主频 3.30GHZ
Cpu MHZ 1600
内存 8G
网卡 千兆
带宽 千兆
IP
hostname Node0
service Nimbus,ui,supervisor

2.2服务器B
Cpu型号 E5620
Cpu核数 8
Cpu主频 2.40GHZ
Cpu MHZ 1600
内存 8G
网卡 千兆
带宽 千兆
IP
hostname ubuntu
Service Supervisor,zookeeper

2.3测试数据
内容 100条循环随机发送
大小 200byte
计算方法 分组求分钟均值

2.4 测试版本
Storm版本 0.9.1
Zookeeper 3.3.1
os 64bit ubuntu
jdk 1.7.0_15
python 2.6.6/2.7.3

3. 用例与结果
Producer:Spout;随机发送数据,并附上数据产生时间戳。
jsonParser:Bolt;拉取Producer提交的数据,对数据解析,并emit对应的分组以及原始数据值。
avgCompute: Bolt;拉取jsonParser的数据,执行均值计算,每处理1w条数据即刷新数据,并计算数据延迟。



测试用例包括单流程,单流程扩展,双机扩展,ack性能测试。详情见附件doc文档。
分享到:
评论
2 楼 jandyfish 2014-12-09  
matianyi0307 写道
您好,能问一下你的性能测试是用的什么工具吗?十分感谢!

性能分析直接是用的nmon. 希望可以帮你
1 楼 matianyi0307 2014-10-14  
您好,能问一下你的性能测试是用的什么工具吗?十分感谢!

相关推荐

    storm、kafka、flume性能测试

    本篇文档旨在通过对 Apache Storm、Apache Kafka 和 Apache Flume 的性能测试,评估这些组件在特定环境下的表现,并找出最优配置组合。主要关注以下几个方面: 1. **Storm 的 CPU 和内存使用情况**:了解不同配置下...

    webservice测试工具storm

    这款工具支持创建复杂的测试场景,包括单个请求、脚本化的测试序列,以及负载和性能测试。 3. 使用Storm进行功能测试: 功能测试是确保Web服务按照预期工作的关键步骤。在Storm中,你可以创建测试用例,输入相应的...

    Apache Storm-0.8.1 API 参考文档 ( Html版 )

    Apache Storm 是一个开源的分布式实时计算...通过深入学习和理解这些API,开发者可以有效地利用Storm构建高性能的实时数据处理应用。虽然0.9.1版本的文档尚未发布,但0.8.1版本的文档依然能为开发者提供宝贵的指导。

    storm-webservice测试工具

    5. **性能测试**:可能包含负载和压力测试特性,模拟多个并发请求,评估服务的稳定性和性能。 6. **历史记录**:保存和管理过去的请求,便于复用或对比不同调用的结果。 7. **自动化测试**:支持编写测试脚本或集成...

    storm_r1.1-adarna 调试WebService接口的工具

    - 使用工具进行全方位的测试,包括边界条件、异常处理和性能测试。 - 定期更新和维护测试用例,以适应服务的变化。 总之,Storm_r1.1-Adarna是Web Service开发者的重要助手,它简化了调试过程,提高了开发效率。...

    storm深入学习.pdf

    1. 高性能:Storm可以处理大量数据,并且具有高性能。 2. 可扩展性:Storm可以根据需要扩展到数千个节点。 3. 灵活性:Storm可以与各种数据源集成,例如Kafka、HDFS等。 本文档详细讲解了Storm的安装、配置和使用,...

    Storm_WebService.zip

    6. **README或文档**:提供了如何运行测试、解释测试目标以及如何解析测试结果的指南。 7. **依赖库**:压缩包可能包含了一组必要的第三方库,这些库是Storm_WebService程序运行所必需的。 在实际使用这个压缩包时...

    收集的storm的pdf版资料

    9. **开发与部署**:学习如何编写Storm拓扑,使用本地模式进行测试,以及如何将它们部署到生产环境,是成为Storm开发者的必备技能。 10. **社区与资源**:Apache Storm有一个活跃的开发者社区,提供了丰富的教程、...

    storm_webservice.zip

    以上是对基于Storm的Web服务的概述,具体到"Storm_r1.1-Adarna"的实现,还需要查看源码或文档以获取更多细节。例如,它可能包含特定的实时处理逻辑、如何与外部系统交互、如何配置和部署到Storm集群等。在实际应用中...

    storm大数据相关代码

    - **测试脚本**:验证代码正确性的JUnit或PyTest等测试代码。 - **依赖库**:可能包含项目的Maven或Gradle配置文件,列出了所有必需的依赖库。 - **文档**:可能有README文件,介绍如何运行和理解这些代码。 通过...

    SWMM5.0官方测试文档

    2. **性能测试**:评估 SWMM 在不同硬件配置下的运行效率,确保在实际操作中能够快速得出结果。 3. **兼容性测试**:检查 SWMM 是否能在不同的操作系统上稳定运行,并与其他常用软件或数据格式兼容。 4. **安全性...

    apache-storm-1.2.1.tar.gz

    "本资源是storm1.2.1linux系统专用,本人亲测能用" 表明这个压缩包已经过测试,可以在Linux环境下顺利运行,为用户提供了信心。 标签 "storm-1.2.1" 和 "storm安装包" 明确了文件的版本信息和用途,帮助用户识别和...

    storm调试webservice

    为了利用这个资源,你需要解压文件,查阅文档,或者运行其中的示例代码来学习如何结合Storm进行Web Service的调试实践。 总之,通过Apache Storm调试Web Service是一个高效且强大的方法,它允许我们在大规模数据流...

    storm组件安装部署.doc

    这个文档主要聚焦于如何在单机环境下部署和运行Storm,尤其针对CentOS 6.4系统,并且确认在Storm 0.9.6版本下可以正常运行。同样的步骤理论上也适用于其他基于Linux的操作系统,如Ubuntu。 在开始安装Storm之前,...

    storm组件应用说明书

    本文档将全面介绍Apache Storm的基础应用,旨在为初学者提供一份详细的入门教程,帮助读者理解并掌握Storm在大数据流计算中的核心功能和操作步骤。Storm是一款开源的分布式实时计算系统,它允许用户进行连续的、无...

    Storm1.2.2+Zookeeper3.4.14.zip

    安装Storm时,首先需要解压缩这个文件,然后按照官方文档或提供的说明配置环境变量,包括`STORM_HOME`,确保系统可以找到Storm的可执行文件。 Zookeeper是Apache Hadoop的一个子项目,主要用于分布式系统的配置管理...

    matlab-STORM代码

    在“压缩包子文件的文件名称列表”中,“matlab-storm-master”可能是一个包含源代码、数据文件和相关文档的主目录。通常,这样的结构会包括以下部分: 1. **源代码文件**:`.m`后缀的MATLAB脚本和函数,用于实现...

    storm集群部署和配置过程详解

    虽然大多数版本的依赖项都经过测试,但并不保证所有版本兼容,因此建议使用官方推荐的版本。 3. **下载并解压Storm发布版本**: 从官方下载最新稳定的Storm发行版,并在nimbus和worker节点上解压。解压后的目录...

    Storm Blueprints.Patterns

    5. **开发与部署**:指导读者如何编写、测试和优化Storm拓扑,以及在集群上部署和监控实时应用。 6. **性能调优**:分享最佳实践,如何调整拓扑参数以提高处理速度和资源利用率。 7. **集成其他技术**:讨论Storm...

Global site tag (gtag.js) - Google Analytics