浅谈软件测试概率性问题
软件测试中常见的⼀个问题就是概率性问题,概率性问题⽆论对软件测试⼈员还是对开发⼈员⽽⾔都是⽐较头疼的⼀个问题。这种概率性问题在测试中该如何处理呢?
⾸先,概率性问题也是问题,这种我们千万不能⼀笑⽽过,在这种情况下测试⼈员要将这些问题记录下来,多做测试,看能否出问题产⽣的规律。
其次,我们要对所出现的问题进⾏评估,看这种问题的严重性,如果是⽐较轻微的问题,对⽤户使⽤没什么影响,也不会影响到软件⽅⾯正常⼯作,那在这种情况下如果开发⼈员很随⼿就可修改的话,那就进⾏修改;如果修该起来耗时耗⼒的话,则可征得有关⼈员同意后进⾏keep.
梦见死去的同事再者,对于⽐较严重的概率性问题,如死机、系统崩溃等情况,在记录下问题的同时要及时通知相关开发⼈员,测试⼈员和开发⼈员商量解决如何再现并最终解决问题。对于这样的问题⼀定不能放过,记得以前在给佳能做传真机测试的时候,遇到⼀个出现系统⾃动重起的问题,结果为了抓这个问题,⼏个测试⼈员专门盯着这个问题反复的测试,为了这个问题整整测了⼀个星期,好在问题最后得以解决。
第四,有些问题⽤语⾔⽂字描述可能很难描述清楚,对于这样的问题,测试⼈员再进⾏描述的时候,有条件的话可以抓图和提供测试log.当然,如果有再现的话,最好通知开发⼈员,让开发⼈员确认问题的现象,毕竟百闻不如⼀见!
第五,概率性问题产⽣的原因可能是累积性问题,是⼀系列复杂操作引起的,⽽有些可能是时间点的问题,只有在某个瞬间进⾏操作才能出现,过了那个时间点进⾏操作时就不会出现问题,这样的问题测试⼈员在测试时和记录时都要注意采取合适的测试策略。
第六,有些概率性可能和测试⼈员的操作习惯有关,⼀个测试⼈员测试出的问题有时候即使描述的很详细,让另⼀个测试⼈员来测,可能都很难发现问题,所以概率性的问题在解决之后最好由相关测试⼈员进⾏验证。
清朝雍正历史第七,对于在⼀些难以重现的⽐较严重的概率性问题,有关测试⼈员还可以⼤范围的搜集相关信息,如可以发消息询问其他测试⼈员或者产品试⽤⼈员,看他们在测试过程中有没有出现有关现象,搜集的信息越多越容易分析出问题的规律、原因,这样也便于开发⼈员解决问题。
第⼋,实际测试中,你会发现很多所谓概率性问题,经过反复、测试验证,还是能够到⼀定规律的,只要按照有关操作进⾏,都可以百分之百出现。所以,概率性问题还是尽量分析原因、规律,必要时做个专项验证测试。
第九,对于⼀些让开发⼈员也束⼿⽆策的难以再现的问题,这种情况下可以使⽤带trace的版本进⾏测试,再现时直接分析相应的log记录。当然这些都属于开发⼈员解决问题⽅式⽅法范畴,相信他们都有⾃⼰独到之处,在此就不班门弄斧了。
说了那么多,最后给出⼀个概率性问题专项测试的例⼦。
概率性问题测试分析实例:
测试背景:
项⽬为⼀款⼿机产品,在测试中遇到⼀个概率性问题:播放TV的时候来电,有的⼿机会出现重启动的问题,有的⼿机却没有遇到该问题,由于问题⽐较严重,所以,针对此问题做了专项验证。
以下有关测试记录:
XXX项⽬平台版本TV播放状态下来电专项测试
摘要
TV播放状态下来电,会出现⽆法接起来电的情况
测试⽅法收款码怎么申请
预置条件:
蓝⽛相关
操作步骤:
1.测试机XXX进⼊TV播放状态;
2.来电;
小雪节气诗句预期结果:
⼿机正常响应来电,不会出现重启等异常问题
电脑IP地址在哪里看XXX TV播放状态来电测试记录
12345678910
⼿机和蓝⽛⽿机连接状态下,进⾏播放TV时来电测试,结果如下
0P P P P P P P P P P
1P P P P P P P P P P
2P P P P P P P P P P
3P P P P P P P P P P
4P P P P P P P P P P
5P P P P P P P P P P
6P P P P P P P P P P
此时使⽤蓝⽛⽿机重拨,⼿机重启.蓝⽛不和⼿机连接,继续测试播放TV时来电,结果如
下
7R P P P R P P P P P
8P R R P P P P P P P
9P P P R P R P P P R
10P R P P P P P P P P
此时拔去⼿机电池,重新开机,进⾏播放TV时来电测试,结果如下
11P P P P P P P P P P
12P P P P P P P P P P
13P P P P P P P P P P92油价今天多少
14P P P P P P P P P P
15P P P P P P P P P P
使⽤蓝⽛⽿机发起连接,⼿机和蓝⽛⽿机处于连接状态,然后进⾏播放TV时来电测试,结
果如下
16P P P P P P P P P P
17P P P P P P P P P P
18P P P P P P P P P P
19P P P P P P P P P P
20P P P P P P P P P P
上⾯50次还是没有出现重启的现象,接下来使⽤蓝⽛⽿机重播,让⼿机重启,然后再进
⾏TV播放状态下来电测试(⼿机不和蓝⽛⽿机连接),记录如下
21R P R R P R P P P P
22P P P P P P P P P P
23P P P P P P P P R R
此时拔去⼿机电池,重新开机,进⾏播放TV时来电测试,结果如下
24P P P P P P P P P P
25P P P P P P P P P P
26P P P P P P P P P P
以上30次未出现重启问题.然后连接蓝⽛⽿机,通过蓝⽛⽿机重拨,使得⼿机重启.重启
后,进⼊TV播放状态,进⾏来电测试(蓝⽛未连接),记录如下
27P R P P P P P P P P
28P R R P P P P P R P
连接蓝⽛⽿机,使蓝⽛⽿机重拨,⼿机重启,重启后关闭蓝⽛,然后进⾏播放TV时来电测
试,记录如下
29F R P P P R P P P P
30P P P F F F P R F F
上⾯20次出现3次重启现象,6次没收到回铃⾳⾃动挂断对⽅来电问题.
(没有收到回铃⾳的问题前⾯测试也有遇到,有些没有统计)
说明
测试版本:XXX
语⾔设置:/
测试者:XXX
测试⽇期:2007-12-11
硬件:#1
测试⼩结
通过上⾯⼏轮测试知,TV播放时来电重启问题和前⾯进⾏的使⽤蓝⽛⽿机
重拨导致的⼿机重启问题有关。
1.播放TV时蓝⽛⽿机重拨导致⼿机重启,⼿机重启后进⾏播放TV时来电操作,会出现重启现象
(和蓝⽛开启关闭⽆关).概率:21/110;
2.播放TV时蓝⽛⽿机重播导致⼿机重启后,将⼿机电池拔去,再重新开机进⼊TV播放状态,TV播
放状态下来电,不管蓝⽛是否连接,⼿机均不会重启动,包括刚开始阶段的测试共200次,未出现
重启现象.
3.使⽤蓝⽛⽿机重拨,导致⼿机重启后,关机(不拔电池),重启后进⼊TV播放状太下来电,结
果:播放TV时来电仍然会出现⾃动重启的问题。概率:4/20
4.出现播放TV时来电⾃动重启的问题,拔去电池后再开机可以恢复,如果不拔电池进⾏重启,不
能恢复。(当然这个结论仍然需要再使⽤⼤量测试进⾏证实,经后来很多次测试证实,结论成
⽴!)
注:
1.根据上⾯测试得出的结论,后来⼜做了⼀些验证,进⼀步证实了结论的正确性。
2.上⾯测试中还发现⼀个播放TV时来电时,有时候会出现呼叫⽅听不到回铃⾳,之后电话便⾃动被挂断的概率性问题。另⾏处理!
概率性问题测试注意事项:
1.概率性问题是很让⼈很让⼈头疼,但有必须⾯对,在测试时⼀定要注意做好记录,包括第第⼏次出现的,清晰明确的测试记录对我们分析问题很有意义!
2.如果实际测试10,有两此出现问题,那么在做概率记录时,应该写为2/10,⽽不要⾃作聪明的写为1/5或者20%.
3. 使⽤醒⽬的颜⾊标准来区别不同的测试记录能够让⼈⼀⽬了然,建议使⽤(对问题项还有⼀些批注在此显⽰不出来,实际Excel⽂档中建议使⽤)
4. 做概率性问题验证测试的确很⿇烦,如果只因为怕⿇烦⽽不想做的话,那么建议你去开公司当⽼板或者改⾏(读hang)! ^-^
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论