`
wsql
  • 浏览: 12100252 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
文章分类
社区版块
存档分类
最新评论

性能测试指标介绍[转载]

阅读更多

原文链接:

http://www-900.ibm.com/cn/products/servers/pseries/tech/tpcc.shtml

TPC-C

作为一家非盈利性机构,事务处理性能委员会(TPC)负责定义诸如TPC-C、TPC-H和TPC-W基准测试之类的事务处理与数据库性能基准测试,并依据这些基准测试项目发布客观性能数据。TPC基准测试采用极为严格的运行环境,并且必须在独立审计机构监督下进行。委员会成员包括大多数主要数据库产品厂商以及服务器硬件系统供应商。

相关企业参与TPC基准测试以期在规定运行环境中获得客观性能验证,并通过应用测试过程中所使用的技术开发出更加强健且更具伸缩性的软件产品及硬件设备。

TPC-C是一种旨在衡量联机事务处理(OLTP)系统性能与可伸缩性的行业标准基准测试项目。这种基准测试项目将对包括查询、更新及队列式小批量事务在内的广泛数据库功能进行测试。许多IT专业人员将TPC-C视为衡量“真实”OLTP系统性能的有效指示器。

TPC-C基准测试针对一种模拟订单录入与销售环境测量每分钟商业事务(tpmC)吞吐量。特别值得一提的是,它将专门测量系统在同时执行其它四种事务类型(如支付、订单状态更新、交付及证券级变更)时每分钟所生成的新增订单事务数量。独立审计机构将负责对基准测试结果进行公证,同时,TPC将出据一份全面彻底的测试报告。这份测试报告可以从TPC Web站点(http://www.tpc.org)上获得。

tpmC定义: TPC-C的吞吐量,按有效TPC-C配置期间每分钟处理的平均交易次数测量,至少要运行12分钟。

1.TPC-C规范概要

TPC-C是专门针对联机交易处理系统(OLTP系统)的,一般情况下我们也把这类系统称为业务处理系统。

TPC-C测试规范中模拟了一个比较复杂并具有代表意义的OLTP应用环境:假设有一个大型商品批发商,它拥有若干个分布在不同区域的商品库;每个仓库负责为10个销售点供货;每个销售点为3000个客户提供服务;每个客户平均一个订单有10项产品;所有订单中约1%的产品在其直接所属的仓库中没有存货,需要由其他区域的仓库来供货。

该系统需要处理的交易为以下几种:

  • New-Order:客户输入一笔新的订货交易;

  • Payment:更新客户账户余额以反映其支付状况;

  • Delivery:发货(模拟批处理交易);

  • Order-Status:查询客户最近交易的状态;

  • Stock-Level:查询仓库库存状况,以便能够及时补货。

对于前四种类型的交易,要求响应时间在5秒以内;对于库存状况查询交易,要求响应时间在20秒以内。

逻辑结构图:

逻辑结构图:

流程图:

流程图:

2.评测指标

TPC-C测试规范经过两年的研制,于1992年7月发布。几乎所有在OLTP市场提供软硬件平台的厂商都发布了相应的TPC-C测试结果,随着计算机技术的不断发展,这些测试结果也在不断刷新。

TPC-C的测试结果主要有两个指标:

● 流量指标(Throughput,简称tpmC)

按照TPC的定义,流量指标描述了系统在执行Payment、Order-status、Delivery、Stock-Level这四种交易的同时,每分钟可以处理多少个New-Order交易。所有交易的响应时间必须满足TPC-C测试规范的要求。

流量指标值越大越好!

● 性价比(Price/Performance,简称Price/tpmC)

即测试系统价格(指在美国的报价)与流量指标的比值。

性价比越小越好!

3.结果发布

各厂商的TPC-C测试结果都按TPC组织规定的两种形式发布:测试结果概要(Executive Summary)和详细测试报告(Full Disclosure Report)。测试结果概要中描述了主要的测试指标、测试环境示意图以及完整的系统配置与报价,而详细测试报告中除了包含上述内容外,还详细说明了整个测试环境的设置与测试过程。

P690 tpmC测试值:76,389,839.00

$/tpmC:831.00

美国美金报价:6,349,223.0

CPU数:32

数据库:IBM DB2 UDB 8.1

操作系统:AIX 5L V5.2

中间件:TUXEDO 8.0

测试日期:2003.6.30

P690 TPC-C测试的配置:

1. 后台:1 x eServer pSeries 690 with 32 x 1.7GHz POWER4+ processors with 128MB L3 cache per MCM (total of four MCMs), 512GB memory

2. 前端:30 x eServer pSeries 630 Model 6E4 each with 4 x 1.0GHz POWER4 CPUs with 32MB L3 cache, 16GB memory

SPECweb:

SPECweb96: 在SPECweb96基准测试程序上实现的每秒钟超文本传输协议(HTTP)操作最多次数,响应时间无明显退化。

SPECweb99: 接入数,网络服务器可用预先确定的工作量支持的同时接入数。SPECweb99检测设备模拟客户通过慢Internet联接,向网络服务器发送HTTP工作量请求。

SPECweb99 测试Web服务器运行状况

SPECweb99 是由标准性能评估组织(SPEC)开发的Web服务器基准测试。它测量满足特定吞吐量和客户请求响应速率要求的WEB服务器的最大并发连接数量。并发连接的合计波特率在320 Kbps到400Kbps范围内,则满足相应规范。

SPECweb99 在一台称为主客户端的机器上运行,这台机器上包含有允许用户加载特定负载请求的配置文件。主客户端也要处理在客户端和服务器或测试中的系统(SUT)之间的传输协调问题。客户端通过许多子进程/线程生成独立HTTP请求流,仿真足够的负载发送给SUT。图二表示客户端/服务器的层次关系。

图2. 典型 SPECweb99 实验设置

图:典型的SPECweb99实验环境

在这个测试中,客户端向测试中的服务器发送请求数据。测试规范要求客户端和服务器之间的连接不能使用片段大小大于1460比特的TCP协议。因此,每一个客户端读取1460比特或更少数据块的响应。

测试中使用两种类型的负载量:

静态负载. 静态负载具有四种类型的文件。最小的文件的增幅为0.1KB,第二种文件类型的增幅为1KB,最后两种类型的文件的增幅为10KB和100KB。每一个目录包含每种类型9个文件共36个文件。

目标请求的文件类型在各类型中分散使用。在每一类中的9个文件中又进行二次分布。最终目标文件混合为:

35%的请求文件小于1 KB

50%的请求文件小于10 KB

14%的请求文件小于100 KB,但是大于或等于10 KB

1%的请求文件小于1000 KB,但是大于或等于100 KB

动态负载.动态负载是基于广告和用户注册。共有四种在SPECweb99中使用的请求内容类型,分别是标准动态取操作、动态随机取操作、动态发送操作和客户图形接口动态取操作。标准动态取操作和客户图形接口动态取操作表现web服务器的简单广告轮转特性。带有广告轮转的动态取操作追踪用户和用户选择,所以广告可以由不同的方式来定制。最终,动态发布实施一个用户注册在相应的网站上。

P690 SPECweb99测试值:21,000

Web服务器:Zeus 4.0

操作系统:AIX 5L V5.1 (64-bit)

CPU数:16

测试日期:2001-10-1

测试配置:16 x 1.3GHz POWER-4 Processors w/1440KB unified on chip L2 cache, 192GB memory, 32 x 32 IBM Gigabit Ethernet-SX PCI controllers, 32 x Gigabit Ethernet network (1 Gigabit/sec ), 96 x Clients (4 x 375MHz POWER3-II, RS/6000 44P-270), Requested Connections = 21000, Max Fileset Size = 67319.6MB

P650 SPECweb99测试值:12,400

Web服务器:Zeus 4.1r3

操作系统:AIX 5L V5.2 (64-bit)

CPU数:8

测试日期:2002-10-1

测试配置:8 x 1.45GHz POWER4+ processors w/1.5MB(I+D) unified on chip L2 cache, 32MB unified off chip/SCM L3 cache, 64GB memory, 8 x Gigabit Ethernet-SX PCI-X controllers, 8 x Gigabit Ethernet network (1 Gigabit/sec ), 48 x Clients (6 x 668MHz RS64-IV, pSeries 620 Model 6F1), Requested Connections = 12400, Max Fileset Size = 39801.28MB

p630 SPECweb99测试值:6,895

Web服务器:Zeus 4.2r1

操作系统:AIX 5L V5.2(64-bit)

CPU数:4

测试日期:2003-2-1

测试配置:4 x 1450MHz POWER4+ Processors w/1536KB(I+D) unified on chip L2 cache, 8MB unified (off chip)/SCM L3 cache, 32GB memory, 4 x Gigabit Ethernet-SX PCI-X controllers, 4 x Gigabit Ethernet networks (1 Gigabit/sec ), 24 x Clients (4 x 375MHz POWER3-II, pSeries 640 Model B80), Requested Connections = 6900, Max Fileset Size = 22199.12MB

NotesBench:

NotesBench是测试各种不同Lotus Notes方面的驱动程序。目的是执行自定义工作量教本中的命令,模拟客户机的操作。NotesBench测试“仅测试邮件”和“测试邮件和数据库”。所有已经公布的IBM结果均为“仅测试邮件工作量”。

p680 NotesBench测试值:150,197

用户数:108,000

平均反应时间:0.584秒

Domino服务器版本:5.06a

操作系统:AIX 4.3.3

CPU数:4

测试日期:2001.11.20

测试配置:IBM eServer pSeries 680 (24*RS64 IV/600MHz; 96GB RAM, 30 Partitions)

分享到:
评论

相关推荐

    性能测试种类_转载网友

    性能测试是确保应用系统在预定的性能指标下稳定运行的重要手段。性能测试主要针对WEB系统,虽然测试方法可能各有差异,但目的是相同的,即验证系统的响应时间、吞吐量、稳定性、容量等关键性能指标。性能测试不仅...

    性能测试经验总结资料,适宜初学和中级(由于是公司内部资料,不想花分勿下)

    - **预期指标的性能测试**:这类测试通常基于预设的性能指标来进行,比如响应时间、吞吐量等。目的是验证系统是否能够达到预期的性能水平。 - **独立业务性能测试**:针对系统中的单一功能或模块进行测试,以评估该...

    转载机自移装置的探讨与改进

    锚固装置通常具备以下几个关键性能指标: 1. 高摩擦系数:确保装置与导轨间具有足够的摩擦力,避免打滑现象。 2. 良好的自锁能力:在某些设计中,锚固装置通过自锁机构,实现即使在载荷作用下也不会发生相对移动。 ...

    LoadRunner没有告诉你的----转载

    【LoadRunner】是一款强大的性能测试工具,用于模拟大量并发用户以评估系统性能和稳定性。它提供了多种功能,如事务处理、脚本录制、参数化、关联(correlation)、思考时间(Think Time)等,帮助测试人员全面分析...

    dtree 例子 转载的

    5. **模型评估**:使用交叉验证或独立测试集来评估模型的性能,常见的评估指标包括准确率、召回率、F1分数和AUC等。 在“codefans.net”这个压缩包文件中,可能包含了实现决策树的代码示例或者相关的教程资源。通常...

    硬盘检测工具

    硬盘检测工具是IT领域中非常实用的一类软件,主要用于对计算机硬盘进行健康状况检查、性能测试和故障预测。这类工具通常包含多种功能,比如SMART(Self-Monitoring, Analysis, and Reporting Technology)自监测、...

    20210325-中国信通院-互联网行业先进网络安全能力验证评估系列报告:国内网络安全信息与事件管理类产品研究与测试报告(2021年).pdf

    - 测试内容包括产品功能、性能和安全性,覆盖数十种技术能力指标。 5. 行业报告和合作 - 本报告由具有权威性的中国信息通信研究院安全研究所和上海斗象科技有限公司联合完成。 - 报告旨在为5G网络、云计算、...

    彩机客户打印参考文档-FUJIFILM

    1. **专属性**:富士胶片商业创新提供的彩色打印机测试样张是为其特定型号的彩色打印机定制的,这意味着这些样张在设计时充分考虑了该品牌打印机的特点和技术指标。 2. **版本更新**:文件中标注为V1.2版本,说明这...

    概要设计说明模板---转载---参考

    这部分简要概述了系统预期的性能指标,如响应时间、并发用户数等,以及采取的安全措施,如数据加密、访问控制等。 6. 维护与扩展性设计 考虑系统的可维护性和未来扩展性,设计应包含模块化、标准化的原则,以便于...

    ADS第八讲功分器的设计

    第八讲课程主要围绕这两个器件的设计方法、原理和性能指标进行详细讲解和指导。 课程开始会先建立基础知识体系,介绍功分合路器和耦合器的工作原理,重点在于理解阻抗变换在功分合路中的应用,以及耦合器的耦合原理...

    CMMI3培训讲义(转载)

    - **建立并维护所需功能性定义(Establish a Definition of Required Functionality)**:定义产品的功能特性和性能指标,确保满足客户需求。 #### 实践 为了实现上述目标,CMMI3提出了具体的实践步骤: - **SP...

    数据模型设计心得(转载)

    源码层面的数据模型设计需要考虑性能、可维护性和扩展性。 **工具**标签可能涉及数据建模工具,如MySQL Workbench、PowerDesigner等,这些工具可以帮助设计师可视化地创建和管理数据模型,生成数据库脚本,进行反向...

    UCClite2开发向导

    - **性能测试**:在调校完成后进行全面的性能测试,确保各项指标均达到预期效果。 ### 注意事项 - **版权与使用许可**:本文档为雷尼绍版权所有,未经允许不得复制或转载。 - **免责声明**:虽然已经尽力确保文档...

    一个设计文档的模版!!

    - **非功能需求**:涵盖性能指标、容错能力等非功能性的要求。 8. **概要设计**: - **外部接口**:清晰定义模块与其他组件的接口,包括接口要求、界面设计和配置文件,确保接口的一致性和可重用性。 - **模块...

    爱心源码(保存一下给自己使用)

    6. **测试与评估**:项目可能包含测试用例和性能评估指标,以验证算法的准确性和效率。 7. **开源实践**:作为开源项目,它可能包含贡献指南、许可协议等内容,展示了开源社区的合作模式。 通过深入研究这个“爱心...

    综采工作面检修与调试安全技术措施.docx

    此外,所有设备的外观和静态测试也应按《煤矿矿井机电设备完好标准》进行仔细检查,以确保机电设备的良好性能。 在调试前,设备的喷雾冷却系统需要进行完善,确保其水路畅通无阻,满足流量和压力的需求。对于所有...

    BC95硬件设计手册

    - **评估板**:提供了用于测试和评估模块性能的工具板信息,便于开发人员进行初步的验证和调试。 #### 三、应用接口详解 - **引脚分配**:详述了BC95模块的引脚分布情况,包括电源、数据传输等各类引脚的位置和...

    bcs-master.zip

    5. **性能评估**:包含计算重建误差、峰值信噪比(PSNR)、结构相似度指数(SSIM)等评价指标的函数,用于评估重构结果的质量。 6. **示例与测试**:可能有预设的一些测试案例或演示脚本,帮助用户快速理解和运行...

Global site tag (gtag.js) - Google Analytics