用Ruby进行黑盒回归测试

大家好，先说一下我的情况。我的工作主要是关于网站功能的自动（回归）测试，平时主要是在使用SilkTest（使用vendor提供的4Test语言），六七个人的小组维护着数千个test case。通常是晚上在一批实验室机器上启动自动测试，第二天来分析log，找出可能的bug。

现在，考虑到一些因素，比方，成本、SilkTest自身的可靠性和稳定性（新版本带来了一些新bug）、它的局限性，开源软件的自由扩展的方便性，以及Ruby语言带来的好处，最近也在尝试WATiR和Selenium等开源方案。现在有个问题就是，要维护大量的test case，必然涉及到以下几个因素：
1）Logging，测试需要把步骤记录下来，而不只是走过一个流程就不管了，而且最好保留多次历史纪录；
2）Reporting，一夜下来，测试的结果如何，需要有方便的报表，既有汇总的，也有一个一个test plan的。

以上只是暂时想到的方面。从这些方面来说，我们是不是需要为regression test的需求（可能以Ruby为主）建立一个框架呢？我知道Ruby本身带了unit test的框架，不过那好象还不够，主要不是给大量的regression test准备的。

先说这些，欢迎有兴趣的朋友们讨论讨论。也许，如果合适，我们可以共同来做一个open source的框架，为我们自己，也为所有有这个需求的朋友们提供帮助。

谢谢！

评论

10 楼 billgui 2006-12-07  

zhixiaboy428 写道

popup 你用delphi 调用 windows的API 也是一个很不错的
方法， 但是watir本身有一些方法可以调用的，
目前我解决了上传，警告等弹出的问题
但是对下载无从下手，可能是windows安全系统的影响
还有你对reporting的功能 研究怎么样了？
我在杭州，你呢？

嗯，不错，你解决了上传。

下载方面，我也来研究一下，我们也会用得着。

reporting，正开始搞，我想，需要包括：
1）test plan级别的passed/failed信息，存入数据库，可以有web界面的report（summary, detail）；
2）log，这个是为了分析那些失败的test case，如何迅速找到出错的script文件和相应行，是否需要相应的IDE配合；
3）log要有历史纪录，后面的不能直接覆盖前面的，这样可以前后对照。

另外，向我们这种有数千个test case需要运行维护的话，一台机器运行是不够的，通常至少有几十台机器一起运行。这样的话，需要一个批处理启动运行的工具，自动把那些test plan分配到各台机器上一起运行。第二天来分析结果。

9 楼 zhixiaboy428 2006-12-07  

billgui 写道

zhixiaboy428 写道

我在用ruby的watir完成了一套测试系统， 覆盖达到90％
但是对watir的reporting 功能感觉不理想，可以说是还没有研究到很
彻底的缘故。 我想能否在这个论坛交流一下， 如何生产比较完美的reporting方案， 而且包括一些windows popup的问题， waitir解决起来还是有点问题
我的邮箱 :daizhixia at gmail dot com
谢谢

所以我也在搞这个，也许我们可以交流一下。甚至搞一套open source的辅助系统，以提高运行与分析的效率。

你说的popup问题，我用Delphi写了个.exe程序来处理，思路是通过Windows API FindWindow和PostMessage，把它们给点掉，每一秒钟检测一次，后台单独运行。当然用什么语言写都无所谓。

另外建议你不要直接把email地址原封不动地放在网页上，容易被地址收集程序收集去，以后会引来垃圾邮件。可以用类似于我引用你的话的里面的写法，只要人看得懂就行。

popup 你用delphi 调用 windows的API 也是一个很不错的
方法， 但是watir本身有一些方法可以调用的，
目前我解决了上传，警告等弹出的问题
但是对下载无从下手，可能是windows安全系统的影响
还有你对reporting的功能 研究怎么样了？
我在杭州，你呢？

8 楼 billgui 2006-12-06  

zhixiaboy428 写道

我在用ruby的watir完成了一套测试系统， 覆盖达到90％
但是对watir的reporting 功能感觉不理想，可以说是还没有研究到很
彻底的缘故。 我想能否在这个论坛交流一下， 如何生产比较完美的reporting方案， 而且包括一些windows popup的问题， waitir解决起来还是有点问题
我的邮箱 :daizhixia at gmail dot com
谢谢

所以我也在搞这个，也许我们可以交流一下。甚至搞一套open source的辅助系统，以提高运行与分析的效率。

你说的popup问题，我用Delphi写了个.exe程序来处理，思路是通过Windows API FindWindow和PostMessage，把它们给点掉，每一秒钟检测一次，后台单独运行。当然用什么语言写都无所谓。

另外建议你不要直接把email地址原封不动地放在网页上，容易被地址收集程序收集去，以后会引来垃圾邮件。可以用类似于我引用你的话的里面的写法，只要人看得懂就行。

7 楼 zhixiaboy428 2006-12-06  

billgui 写道

bluefairy 写道

70%左右

所以分析起来还是有些累，是吧？我们是80%左右，但有时候下去，有时候上去。

而且，其中大部分不是bug引起的，有HTML对象的名称或文字改变的问题、流程轻微变化、server端配置问题、数据问题、SilkTest本身的可靠性问题等等等等一系列问题。

我在用ruby的watir完成了一套测试系统， 覆盖达到90％
但是对watir的reporting 功能感觉不理想，可以说是还没有研究到很
彻底的缘故。 我想能否在这个论坛交流一下， 如何生产比较完美的reporting方案， 而且包括一些windows popup的问题， waitir解决起来还是有点问题
我的邮箱 :[e-mail]
谢谢

6 楼 billgui 2006-12-05  

bluefairy 写道

70%左右

所以分析起来还是有些累，是吧？我们是80%左右，但有时候下去，有时候上去。

而且，其中大部分不是bug引起的，有HTML对象的名称或文字改变的问题、流程轻微变化、server端配置问题、数据问题、SilkTest本身的可靠性问题等等等等一系列问题。

5 楼 bluefairy 2006-12-04  

70%左右

4 楼 billgui 2006-12-03  

Selenium on rails我还没用过。我们公司的QA部门也有人在尝试用Selenium，不过目前还没有大规模应用。

3 楼 gigix 2006-12-02  

how about selenium on rails?

2 楼 billgui 2006-12-01  

呵呵，你们是测试Web应用吗？目前一般运行一遍所有的test case之后，成功率一般是多少？80%左右？

1 楼 bluefairy 2006-12-01  

我们回归测试用的是QTP,没有用过SilkTest.使用QTP的脚本是按功能做的,在ST测试后期使用.所有的脚本都用统一的命名规则,一般不会乱.结果也是所有的用例都通过后,再提交的.现在还是在白天跑,晚上还没跑过.呵呵.