精华帖 (0) :: 良好帖 (1) :: 新手帖 (0) :: 隐藏帖 (0)
|
|
---|---|
作者 | 正文 |
发表时间:2012-04-25
我对当前工作进行了总结,希望老大能够知悉当前情况,并在有资源时给予帮助。 1.XXandroidlib服务器端 原设想:服务器端与hudson集成自动化只对新功能点进行验证,并增加对新功能点的验证。 现状:服务器端从接手到现在,供测试的项目有A,B,C,将来要引入的系统,D。从性能测试到功能测试断断续续没有间歇,现在对play如何植入测试代码仍然不知。 2.XXandroidlib客户端 原设想:单元自动化测试,功能自动化测试 客户端自动化测试正在进行,但代码很多存在着不可测试性,因为单元测试显得如此苍白无力,集成性自动化测试覆盖率不足,仅能简单验证功能不能正常验证逻辑。Xlib自动化策略覆盖低,仅可以保证jar内代码逻辑无误,调用正常。很多逻辑存在于APK的调用,无法按照需求文档进行验证。 3.XXXXX服务器端 XXXXXX提测较少,但XXXXX白盒测试已经部署到ABCD的机器上,新增的功能是否已经加入,新的接口测试是否也属于白盒测试范围? 4.性能测试 性能测试的现状在于测试能够欲知存在问题,而无法精准定位问题所在,定位问题需要时间和大量的经验,对此也在一点点学习中。 以上是对自动化测试上的问题 我手上现在能够提测的内容:Alib、Blib、Clib,Dlib,EAPK、Aserver、Bserver、Cserver、Dserver 现在的周期为:lib每月一改动,每次改动测试时间都会近2个星期或者更多时间,服务器端在期间有测试,在其测试完成后,服务器端又有提测,我这2个多月基本每天都干这些事情,而且还负责一部分流程,例如组件的更新内容变更,告知测试各组件更新情况。 而当前最大的问题是任务匹配问题,当前大多数的提测是手工check的,我已经似乎100%的投入到了手动测试中,而无力无时进行自动化测试。 下面从工作内容中举例: 1.Cserver测试,该测试有web端界面,测试Cserver易用性以及功能性,该测试在开发中及其不稳定,不利于selenium等页面框架的自动化测试,该项目一直手测。 2.组件测试自动化没有完全实现,多数策略需要在APK内去验证,而APK内的检查现在完全是手工去点击Button去check,该项目一直手测。 改进意见: 1.既然我们要覆盖公司内所有产品的白盒测试,以及自动化测试,那么就应该倒出时间研究android service provider activity的自动化测试以及测试报告 2.测试人员知道测试资源有限可能无法支持,但是希望现在把一部分工作让出去,至少可以是手动check部分,使之有时间能够去研究自动化,希望能给予一个实习生也好 声明:ITeye文章版权属于作者,受法律保护。没有作者书面许可不得转载。
推荐链接
|
|
返回顶楼 | |
发表时间:2012-04-25
最后修改:2012-04-25
MyEyeOfJava 写道 请各位帮看看吧,烦死我了,想发这封信给老大们,但是写着写着觉得发了也没有人能解决问题,请给位大大们给个意见吧~~~~~我也不想发出去了,只想听听各位高见。
我对当前工作进行了总结,希望老大能够知悉当前情况,并在有资源时给予帮助。 1.XXandroidlib服务器端 原设想:服务器端与hudson集成自动化只对新功能点进行验证,并增加对新功能点的验证。 现状:服务器端从接手到现在,供测试的项目有A,B,C,将来要引入的系统,D。从性能测试到功能测试断断续续没有间歇,现在对play如何植入测试代码仍然不知。 2.XXandroidlib客户端 原设想:单元自动化测试,功能自动化测试 客户端自动化测试正在进行,但代码很多存在着不可测试性,因为单元测试显得如此苍白无力,集成性自动化测试覆盖率不足,仅能简单验证功能不能正常验证逻辑。Xlib自动化策略覆盖低,仅可以保证jar内代码逻辑无误,调用正常。很多逻辑存在于APK的调用,无法按照需求文档进行验证。 3.XXXXX服务器端 XXXXXX提测较少,但XXXXX白盒测试已经部署到ABCD的机器上,新增的功能是否已经加入,新的接口测试是否也属于白盒测试范围? 4.性能测试 性能测试的现状在于测试能够欲知存在问题,而无法精准定位问题所在,定位问题需要时间和大量的经验,对此也在一点点学习中。 以上是对自动化测试上的问题 我手上现在能够提测的内容:Alib、Blib、Clib,Dlib,EAPK、Aserver、Bserver、Cserver、Dserver 现在的周期为:lib每月一改动,每次改动测试时间都会近2个星期或者更多时间,服务器端在期间有测试,在其测试完成后,服务器端又有提测,我这2个多月基本每天都干这些事情,而且还负责一部分流程,例如组件的更新内容变更,告知测试各组件更新情况。 而当前最大的问题是任务匹配问题,当前大多数的提测是手工check的,我已经似乎100%的投入到了手动测试中,而无力无时进行自动化测试。 下面从工作内容中举例: 1.Cserver测试,该测试有web端界面,测试Cserver易用性以及功能性,该测试在开发中及其不稳定,不利于selenium等页面框架的自动化测试,该项目一直手测。 2.组件测试自动化没有完全实现,多数策略需要在APK内去验证,而APK内的检查现在完全是手工去点击Button去check,该项目一直手测。 改进意见: 1.既然我们要覆盖公司内所有产品的白盒测试,以及自动化测试,那么就应该倒出时间研究android service provider activity的自动化测试以及测试报告 2.测试人员知道测试资源有限可能无法支持,但是希望现在把一部分工作让出去,至少可以是手动check部分,使之有时间能够去研究自动化,希望能给予一个实习生也好 楼主如果你在我原来的公司, 会更有发言权, 你的动手价值与你的工资相比差不多. 如果你的工资过万.......像上家公司一样 估计会有更多的领导去支持你去开发自动测试过程. 对于改进意见. 1.白盒测试不归你的测试部门管理 即使他们开发了单元测试 也应该不能对你的工作量减少有好处 2.杀鸡取卯不应该在没时间写自动化测试时再提出来 因为已经晚了. 如果有进度压力神仙也作不了自动化测试 测试时间应该与开发时间相近 当测试工作量大于开发工作量时 考虑在项目刚刚开始时就应该启动配套自动化测试开发. 3.对于高级测试,平台测试,人手是个很关键的因素 如果人不够先把人招购 人员水平不够可以由开发人员组成写自动化测试team 你现在的需要是招更多的人先把上线搞定 在qa组分出一至二个人关小黑屋 进行封闭开发自动化测试基础代码. 二到三个月后人员再次到达极限前把半自动化测试先上一个版本. 再二到三个月后再改进之前的半自动化测试. 再二到三个月就可以停招人员,并等待自动人员降低到合适的水平. PS:你可以去研究一下telnet命令行测试接口. 或者写个socket的测试专用类. 用fitness来写测试用例. 使用staf来进行多服务器之间的启动修改参数等手动工作. 由于staf可以被shell调用.所以开发起来比socket简单一些. ps:再说一下 你的公司很有发展前景 像遇到这样问题的公司 不是太大 就是就快变的太大. |
|
返回顶楼 | |
发表时间:2012-04-26
抛出异常的爱 写道 MyEyeOfJava 写道 请各位帮看看吧,烦死我了,想发这封信给老大们,但是写着写着觉得发了也没有人能解决问题,请给位大大们给个意见吧~~~~~我也不想发出去了,只想听听各位高见。
我对当前工作进行了总结,希望老大能够知悉当前情况,并在有资源时给予帮助。 1.XXandroidlib服务器端 原设想:服务器端与hudson集成自动化只对新功能点进行验证,并增加对新功能点的验证。 现状:服务器端从接手到现在,供测试的项目有A,B,C,将来要引入的系统,D。从性能测试到功能测试断断续续没有间歇,现在对play如何植入测试代码仍然不知。 2.XXandroidlib客户端 原设想:单元自动化测试,功能自动化测试 客户端自动化测试正在进行,但代码很多存在着不可测试性,因为单元测试显得如此苍白无力,集成性自动化测试覆盖率不足,仅能简单验证功能不能正常验证逻辑。Xlib自动化策略覆盖低,仅可以保证jar内代码逻辑无误,调用正常。很多逻辑存在于APK的调用,无法按照需求文档进行验证。 3.XXXXX服务器端 XXXXXX提测较少,但XXXXX白盒测试已经部署到ABCD的机器上,新增的功能是否已经加入,新的接口测试是否也属于白盒测试范围? 4.性能测试 性能测试的现状在于测试能够欲知存在问题,而无法精准定位问题所在,定位问题需要时间和大量的经验,对此也在一点点学习中。 以上是对自动化测试上的问题 我手上现在能够提测的内容:Alib、Blib、Clib,Dlib,EAPK、Aserver、Bserver、Cserver、Dserver 现在的周期为:lib每月一改动,每次改动测试时间都会近2个星期或者更多时间,服务器端在期间有测试,在其测试完成后,服务器端又有提测,我这2个多月基本每天都干这些事情,而且还负责一部分流程,例如组件的更新内容变更,告知测试各组件更新情况。 而当前最大的问题是任务匹配问题,当前大多数的提测是手工check的,我已经似乎100%的投入到了手动测试中,而无力无时进行自动化测试。 下面从工作内容中举例: 1.Cserver测试,该测试有web端界面,测试Cserver易用性以及功能性,该测试在开发中及其不稳定,不利于selenium等页面框架的自动化测试,该项目一直手测。 2.组件测试自动化没有完全实现,多数策略需要在APK内去验证,而APK内的检查现在完全是手工去点击Button去check,该项目一直手测。 改进意见: 1.既然我们要覆盖公司内所有产品的白盒测试,以及自动化测试,那么就应该倒出时间研究android service provider activity的自动化测试以及测试报告 2.测试人员知道测试资源有限可能无法支持,但是希望现在把一部分工作让出去,至少可以是手动check部分,使之有时间能够去研究自动化,希望能给予一个实习生也好 楼主如果你在我原来的公司, 会更有发言权, 你的动手价值与你的工资相比差不多. 如果你的工资过万.......像上家公司一样 估计会有更多的领导去支持你去开发自动测试过程. 对于改进意见. 1.白盒测试不归你的测试部门管理 即使他们开发了单元测试 也应该不能对你的工作量减少有好处 2.杀鸡取卯不应该在没时间写自动化测试时再提出来 因为已经晚了. 如果有进度压力神仙也作不了自动化测试 测试时间应该与开发时间相近 当测试工作量大于开发工作量时 考虑在项目刚刚开始时就应该启动配套自动化测试开发. 3.对于高级测试,平台测试,人手是个很关键的因素 如果人不够先把人招购 人员水平不够可以由开发人员组成写自动化测试team 你现在的需要是招更多的人先把上线搞定 在qa组分出一至二个人关小黑屋 进行封闭开发自动化测试基础代码. 二到三个月后人员再次到达极限前把半自动化测试先上一个版本. 再二到三个月后再改进之前的半自动化测试. 再二到三个月就可以停招人员,并等待自动人员降低到合适的水平. PS:你可以去研究一下telnet命令行测试接口. 或者写个socket的测试专用类. 用fitness来写测试用例. 使用staf来进行多服务器之间的启动修改参数等手动工作. 由于staf可以被shell调用.所以开发起来比socket简单一些. ps:再说一下 你的公司很有发展前景 像遇到这样问题的公司 不是太大 就是就快变的太大. 大大,现在公司最起码是维持当前规模不会扩张甚至有可能收缩,当前android端自动化面临的问题是,开发人员的代码存在着不可测试性,大量的final变量,大量的单子模式,可见开发人员的水准,在开发期间并没有考虑到代码的可测试性,加之android自动化并不是很成熟,很多客户端策略无法实现,所以覆盖率有限。如果想要自动化测试覆盖率提升那么代码必须重构。但是谁来推动这件事,在这家公司我已不是一个leader的身份进来的,无法推动此事。 其二,服务器端面临的问题是server众多都压在一个人身上,造成了个人工作疲态,甚至出现厌烦情绪,这几天正在好好梳理情绪,薪资正如大大所料,基本就哪个数字。看过大大曾经提及过的staf以及fitness,暂时还不需要跨平台整合自动化测试,当前公司内部为linux ssh协议以及hudson node节点进行分布式自动化持续集成构建,刚开始的时候因为项目较少游刃有余。当前就是不分节制越积越多。 其三,我现在也不想发这封信了,这个问题我已经提过2次,均被没有测试资源而被档了回来,功能持续集成的自动化测试我们已经很成熟,能够满足敏捷测试,闹的我现在只能做测试排期,而所排期的东西竟然不能够有助于让我们有时间把这些事情都做了,就是越积越多。也就是负载越来越多,测试内容重复,这些原本由机器做的事情,让一个测试开发攻城师情何以堪。 其四,我每天的工作现在是接收不断的这些多server以及clientlib的提测,不断的熟悉这么多的server,也许是个人能力有限,我已觉得精疲力尽,一周11个提测弄的我爽之又爽,但深知现在是IT行业的冬天,再累也得做啊。昨天拒绝了一个测试任务,该提测根本就没有达到提测标准,测试基本流程都走不通,刚入手10分钟,10余哥bug已经被提交,只好找开发负责人,打了回去,并告知,请你们自己走一遍最基础的流程,能走通了再提测,知道你们上线急,但是这样产品会被骂的。 现在... 现在 ... 看某一个android lib, 测试性很低,已经给它搭设了一个web服务器用于测试,但是还是覆盖不全,内部代码,太。。。太烂了。 真想提出重构建议,但是谁人能理,只能集成测试,集成时靠sed某些final以及不能测试的代码来进行自动化测试。大大,你说这生活怎么样,是不是你也从这里熬出来的。。。。哎,干活。。。。 其四, |
|
返回顶楼 | |
发表时间:2012-04-26
对于黑盒测试覆盖率,有JProfiler 进行控制,手动运行某个功能时会记录对应的代码覆盖.
对于白盒测试一般不由测试部门监督,所以你们也不要提出无谓的程序员开发测试用例或重构软件的要求.没有受重事可能性 11个项目,每周一个版本的运维大约得有40人以上的开发团队吧. 相对应的测试团队应该怎么也得15人以上. 如果人数不够的话, 基本没什么好说的, 质量对于你的公司没什么大的价值. 没必要把事干的太好. 就是越积越多。也就是负债越来越多 你说的状态每个想作点事的team都遇到过 基本上现在能干的就是开发小的半自动化的工具 像自动点击器 java 机器人(robot类) 用大约3-4个小时作一个能节约自己 4-5小时的软件 并分享给其它人. 使自己在公司中有一定的声望. 使自己的公用时间被节约出来 至少达到每周有10小时时间来作自动化测试 (用来关小黑屋) 能作到以上二到三个月之后很多事 |
|
返回顶楼 | |
发表时间:2012-04-26
抛出异常的爱 写道 对于黑盒测试覆盖率,有JProfiler 进行控制,手动运行某个功能时会记录对应的代码覆盖.
对于白盒测试一般不由测试部门监督,所以你们也不要提出无谓的程序员开发测试用例或重构软件的要求.没有受重事可能性 11个项目,每周一个版本的运维大约得有40人以上的开发团队吧. 相对应的测试团队应该怎么也得15人以上. 如果人数不够的话, 基本没什么好说的, 质量对于你的公司没什么大的价值. 没必要把事干的太好. 就是越积越多。也就是负债越来越多 你说的状态每个想作点事的team都遇到过 基本上现在能干的就是开发小的半自动化的工具 像自动点击器 java 机器人(robot类) 用大约3-4个小时作一个能节约自己 4-5小时的软件 并分享给其它人. 使自己在公司中有一定的声望. 使自己的公用时间被节约出来 至少达到每周有10小时时间来作自动化测试 (用来关小黑屋) 能作到以上二到三个月之后很多事 谢谢大大,明白了~·~~多谢多谢~~~~ |
|
返回顶楼 | |
发表时间:2012-04-28
- -! 什么时候上首页了···还
|
|
返回顶楼 | |
发表时间:2012-04-28
软件测试一直在论坛里不火,竟然能上首页??- - 汗汗~~
|
|
返回顶楼 | |
发表时间:2012-05-01
MyEyeOfJava 写道 软件测试一直在论坛里不火,竟然能上首页??- - 汗汗~~
比讨论“ssh的N种配置方式”有价值多了 |
|
返回顶楼 | |
发表时间:2012-05-02
mlw2000 写道 MyEyeOfJava 写道 软件测试一直在论坛里不火,竟然能上首页??- - 汗汗~~
比讨论“ssh的N种配置方式”有价值多了 能够仔细看看我无厘头抱怨的也不多。。。呵呵~ |
|
返回顶楼 | |
发表时间:2012-05-02
用robotium可以做Android的自动化测试
|
|
返回顶楼 | |