穿线测试对于测试界的一个重大创新在于,在白盒测试理论出现数十年以后,上海零一拼装信息技术有限公司结合在测试理论方面十余年的潜心研究,率先提出了第二代覆盖率技术,这绝对不是一个口号,而是ZOA真正对于白盒测试的理解以及对于标准第三方测试服务的深度理解经过数年的基础研究以及2年有余的研发而推出的达到商用标准的技术。现在先让我们温习下经典的测试理论:
1、测试方法论
黑盒功能测试法
黑盒功能测试法, 是把要测试的软件看成一个 “黑盒子”, 不管其内部结构如何以及以什么算法实现所要求提供的功能,而是按照需求的功能化要求, 设计相应的测试用例(包括测试的输入数据与条件设置和所预期的软件运行输出结果), 通过软件运行后所给出的输出(包括字符形式的输出与图象输出)与所预期的结果进行人工或者自动化比较, 来验证被测试软件是否能给出正确的结果, 从而判断该软件是否满足需求, 是否与该软件系统的规格说明书和用户手册相关部分一致。
这一方法的优点为:
(A) 能最直观和直接地反映出所设计的软件是否满足需求;
(B) 即使没有任何测试工具支援, 也能靠人工测试的方法完成;
其不足之处是:
(A) 这种测试方法难以找出某些特殊类型的错误。例如: 当对应于某组输入该被测软件并不提供任何输出信息时 – 可能只是改变了某种工作状态,如果其中的源代码处理部分有错误, 就比较难找出来;
(B) 无法确定哪些测试用例有效或者无效 (所谓无效, 并不是说单独使用某个测试用例时不能收到任何测试效果, 而是在于它和前面已经使用过的测试用例一起使用时, 毫无贡献, 只是重复了前面的测试用例已经完成的测试);
(C) 具有无可避免的盲目性: 当软件被修改后, 由于不知道哪些测试用例能测试到被直接修改过的模块或者受修改过的模块影响的模块, 于是只好将所有测试用例再从头运行一遍, 而且是动态运行,非常费时费力。
白盒结构测试法
白盒结构测试法则与黑盒子功能测试方法相反: 它不管所被测试的软件是否满足需求,是否实现了所设计的功能, 而只注重该软件内部的结构, 以便设计足够多的测试用例, 使得百分百或者尽可能多的程序组成要素能被测试到最少一次, 从而尽可能地将其中的软件错误暴露出来。
白盒子结构测试方法的优点:
(A) 能够找出许多用功能测试方法找不出来的软件错误;
(B) 可以在整个软件系统还未完成之前就分别对各个单元进行测试;
(C) 可以通过测试用例的有效性分析而实现测试用例的最小化, 以便大大地缩短软件修改后的回复测试时间和费用;
(D) 可以同时进行内存泄漏分析;
(E) 可以同时进行分支执行频度分析;
(F) 可以同时进行软件复杂度分析;
(G) 可以同时进行数据和变量分析;
(H) 可以同时进行性能分析;
(I) 可以同时进行动态运行错误定位与执行路径追溯等。
白盒子结构测试方法的缺点:
(1) 必须通过专门的测试工具来进行, 需要在用户的软件的拷贝上进行插桩(插入纪录点)记录各分支/条件是否被执行过或者执行过多少次的信息;
(2) 会使被测试的软件的运行速度减慢;
(3) 需要增加被测试软件运行时的资源开销等。
关于软件质量的误区
有不少软件开发组织和应用软件开发部门的管理者错误地认为,他们已经对他们所开发的软件做了充分的功能测试(又称"黑盒测试")了,认为"我们的软件质量没问题!" ——但是, 专家们分析了大量"经过充分的功能测试"的软件后发现,这些软件中还有大约一半的程序分支从未被执行过!
为什么会这样?原来,软件的功能描述相对来说非常容易、非常简单、也非常粗糙,无法详细到用软件内部的具体实现逻辑结构来说明;而要达到同样的功能,软件可以有许许多多等效的实现方法;特别是,软件功能的实现,与所使用的编写程序的语言、所运行的操作系统环境、所用到的数据库以及某些第三方的软件都有关系。事实上,一个软件中的许许多多程序分支跟该软件本身的功能并没有直接的联系,而是用来处理各种可能出现的运行情况的。例如,所开发的软件在运行中突然被终止时(系统断电或者用户打断)如何保护已经打开的文档;在系统资源用尽之前如何提出警告;在所要用到的某些文件被意外地删除了时如何应付等等。这些程序分支在编写中同样存在着可能的错误,必须加于测试。而这通常都需要通过程序的结构测试(又称"白盒测试")来完成,而白盒结构测试是必须借助于软件测试工具才能进行的。
ThreadingTest针对上诉的质量误区情况在测试过程中对于一组输入,既判断其输出(如果有)是否与预期值一致,又判断其执行路径是否与预期值一致。这样一来,即使测试输出结果与预期值一致,也可能有错误被找出来 - 如果所预期的执行路径与实际的执行路径不一致。例如,当测试一个计算器程序时,如果输入是2+2, 测到的结果是4,也可能是个错误 - 如果它的执行路径与预期值不一致:其最终的结果可能是2×2的路径的输出结果。由于TT可以测试有输入而无输出的场合(此时仅仅测试其执行路径是否与所期待的路径一致),因而
可以在任何开发阶段使用,实现名副其实的全过程测试驱动。
2、第二代白盒覆盖率技术
覆盖率技术是软件测试的基本技术手段之一,但是数十年以来虽然也出现过多种理论方法以及商用产品,但其一直未在测试界主流应用领域推广,主要原因有以下几点点:
(1) 通常覆盖率结果在重新发布版本以后必须重新进行累计,对于庞大的程序相当于对历史的测试全部归零。
(2) 软件测试的通常场景,是需要用测试工具对代码进行分析,而软件测试工具,尤其是可以达到商用标准的白盒测试工具一直被国外的几大老牌软件测试工具所垄断,价格高昂,并且对于航天、军事级别的测试需求来说信息安全可靠度差。
(3) 白盒测试操作难度大,测试人员很难理解,在测试团队中很难推广。
(4) 白盒测试工具都是单机版,很难再大型测试团队中推广使用。
(5) 覆盖率和测试用例无任何关系,通常覆盖率是执行一系列动作的混合结果,而通常测试人员以及开发人员在定位问题的时候需要明确知道某个功能对应的代码覆盖率。而这些传统的白盒测试工具都无法支持。
(6) 随着移动应用在消费级、企业级的市场所占比重越来越大,一些老牌的测试工具针对移动环境(android、iOS)的测试明显支持乏力甚至不提供支持。
上述原因让第一代的覆盖率技术很难真正的得到推广。ThreadingTest针对第一代的覆盖率技术的缺陷提出了全新的第二代覆盖率技术,并在覆盖率方法的基础上,设计了全新的应用功能:
(1) 无需监管测试场景:覆盖率的统计完全可以由后台程序运行收集,对测试人员实现透明化,测试人员只需要运行插桩后的程序,开启程序的自动收集功能,即可无需监管的进行常规测试,TT会自动将程序的测试执行情况收集、分析、存入数据库,配合TT就可以轻松的查看程序的实时覆盖率。
图 实时监控界面自动收集被测程序执行情况并统计
(2) 双向追溯是TT实现覆盖率到达100%的重要工具,通过双向追溯功能测试人员运行完所有用例可以发现所有未测试分支,并且和开发确认如何才能覆盖,并增补用例。直到达到关键模块的100%覆盖的测试。对于较难覆盖程序逻辑,开发以及测试人员可以作为重点进行代码走查及联合用例设计。围绕覆盖率结果,开发和测试人员可以充分的互动,而在穿线测试工具出现之前,由于没有覆盖率这个共享数据,开发和测试人员之间很难充分的互动和协作,因为开发人员并不清楚测试用例具体对应的程序执行逻辑,而测试人员也不清楚如何完成充分的测试。
图 双向追溯界面测试用例和代码之前通过围绕覆盖率进行互动
(3) 支持基于Java语言开发的android移动应用测试。
图手机上进行操作,与之相连的电脑上TT实时收集测试信息
(3) 累计覆盖率技术:如果存在多个被测程序版本的覆盖率结果,TT可以实现对多个版本的覆盖率进行合并,并且在一个视图中展示
图 主界面CallGraph图中选择多个版本的累积覆盖率展示
(5) 支持在程序结构图、控制流程图等多种图形上显示覆盖率,测试以及开发人员可以从多个视角清晰的看到程序的覆盖率情况,可以查看整体的覆盖率,也可以查看单独某一个函数的覆盖率,甚至可以查看某一个分支的覆盖执行情况。
图 覆盖率展示
图 覆盖率展示
图 覆盖率展示
图 覆盖率展示
(6) 支持分布式测试,多个测试人员测试产生的覆盖率,可以在统一视图中显示。
(7) 实现美军标DO-178B MC/DC白盒结构测试技术,实现100%覆盖率,可视化复杂条件组合,使产品质量大幅提升。
通过第二代覆盖率技术,整个测试可以在充分量化的环境下运行,整个开发以及测试团队可以实时看到每个用例的覆盖率对整体测试的贡献程度。根据覆盖率的生长等指标对整个测试进程进行动态调整,同时可以引导对于累计覆盖率偏低的关键模块补充用例。我们希望,国产专业级白盒测试工具TT,能够真正的将白盒测试技术做系统的升级,并且为测试人员所掌握和喜好,并进而将中国的软件测试提升到一个新的境界。
相关推荐
在软件测试领域,黑盒测试和白盒测试是两种主要的测试方法,它们分别关注不同的角度来确保软件的正确性。 黑盒测试,也称为功能测试,主要关注软件的外部行为,即根据软件的需求和规格说明书,检查软件是否能够正确...
白盒测试和黑盒测试作为软件测试领域中两种核心的测试技术,各自从不同的角度对软件进行了深入的检验,为软件的可靠性和稳定性提供了保障。 黑盒测试是一种不考虑软件内部结构和逻辑的测试方法,它关注的是程序功能...
在实际项目中,通常先进行黑盒测试以确保功能正确,然后再进行白盒测试以提高代码覆盖率,两者互补,可以更全面地发现问题。 6. **PPT内容**:根据提供的文件名称列表,这个压缩包可能包含一系列的PowerPoint演示...
在软件测试领域,主要分为两大类方法:黑盒测试和白盒测试。这两种方法各有特点,且适用于不同的测试场景。 首先,我们来详细了解黑盒测试。黑盒测试,也称为功能测试或数据驱动测试,是从用户的角度出发,不考虑...
在软件测试领域,黑盒测试和白盒测试是两种主要的测试方法,它们分别关注不同的角度来确保软件质量。黑盒测试,也称为功能测试,主要关注软件的外部行为,即根据软件的需求和规格说明书来验证软件是否能够正确地执行...
白盒测试,也称为结构测试或代码覆盖率测试,它关注的是程序内部的逻辑结构和工作原理。测试人员通常会根据程序的控制流、数据流或逻辑驱动来设计测试用例。例如,他们可能会检查每个分支、循环和其他程序结构是否都...
软件测试(黑盒、白盒) 软件测试是软件开发过程中至关重要的一步,它旨在确保软件的质量和可靠性。在本文中,我们将详细介绍软件测试的概述,等价类划分、边界值分析、因果图与决策表法等测试方法。 软件测试概述...
软件测试实验三(三角形黑盒测试)报告.pdf 和软件测试实验二(三角形白盒测试)报告.pdf 这两个文件很可能是详述了这两种测试方法在解决三角形问题时的具体实施步骤、测试策略和结果分析。黑盒测试报告可能会展示...
接下来,黑盒测试和白盒测试是两种常见的软件测试方法。黑盒测试关注的是系统的功能,它不考虑内部结构或实现,而是基于系统的行为和输出来设计测试用例。测试人员仅根据需求规格说明书来确定预期结果。而白盒测试...
这份"软件测试资料"涵盖了多种测试方法,包括黑盒测试和白盒测试,对于任何希望深入理解软件测试的人来说,都是非常实用的学习资源。 首先,让我们了解一下黑盒测试。黑盒测试是一种功能测试方法,它关注的是软件的...
白盒测试包括语句覆盖、分支覆盖、路径覆盖等多种覆盖率指标。 除了这两种基本测试方法,学习资料可能还会涉及【集成测试】和【系统测试】。【集成测试】是在所有模块单独测试后,将它们组合在一起进行的测试,以...
软件测试的白盒测试和黑盒测试各有其侧重点,共同确保软件的可靠性和功能性。测试报告作为测试过程的全面记录,是软件质量保证的关键文档,它不仅提供了测试结果,还为改进和决策提供了依据。通过对测试过程的深入...
### 软件测试中的黑盒测试与白盒测试技巧 #### 第1章 简介 **软件测试概述** 软件测试是确保软件质量的重要环节。在软件开发过程中,通过不同的测试方法来发现和修正问题,确保软件符合需求,并提高用户体验。 *...
### 软件测试中的黑盒测试与白盒测试技巧 #### 第一章:简介 **软件测试概述** 软件测试是软件开发周期中至关重要的环节,其主要目标是确保软件产品的质量达到预定标准,满足用户需求。通过实施一系列测试策略和...
黑盒测试与白盒测试是软件测试领域中两种非常重要的测试方法,它们分别从不同的角度对软件进行检验,以确保软件的质量。这两种测试方法在执行者、测试对象、测试目的、测试活动以及测试评估方面存在显著差异。 ### ...
### 软件测试中的黑盒测试与白盒测试技巧 #### 第1章 简介 **软件测试概述** 软件测试是确保软件质量的重要环节。它涉及多种测试方法,旨在发现并修正软件中的问题,确保软件满足既定的需求,并为用户提供良好的...
在进行单元测试时,通常会结合使用白盒和黑盒测试,以达到更全面的测试覆盖率。白盒测试能确保代码逻辑的正确性,而黑盒测试则能验证软件功能是否符合用户需求。在实际应用中,测试人员可以根据项目特点和资源情况,...
在软件测试领域,黑盒测试和白盒测试是两种主要的测试方法,它们分别关注不同的角度来确保软件的质量。在"Pizzashop"这个项目中,这两种测试方法被结合运用,以达到更全面的测试覆盖率。 黑盒测试,也称为功能测试...