测试人员在完成一项测试项目以后,最应该做的就是去编写测试总结报告,这样有利于寻找自己的不足,同时在下一次测试的过程中能更快的找到自己对测试的认识,在测试完成-测试总结-测试继续-测试完成-测试总结,这样一个循环的过程中,才能不断的成长和完善自己的不足。也就是我们简单的说执行-总结-反思-执行-总结-反思......无限循环的过程中,才能让自己不停的往前推进,不然只是流水线似的的工作,每到年底总结感觉自己又过去了一年,撒变化都没有,也不知道自己有哪些进步,但是却在一步一步的忧虑中,又长了一岁...离35岁又进了一步。
一直纠结到底什么是测试报告和测试总结,一度把他们混为一谈了,总想去总结点撒,但是每次一去总结的时候,发现哪里不对。
测试报告:把测试的过程和结果写成文档,并对发现的问题和缺陷进行分析,为纠正软件存在的质量问题提供依据,同时为软件验收和交付打下基础。一份详细的测试报告包含足够的信息,包括产品质量和测试过程的评价,测试报告基于测试中的数据采集及对最终测试结果的分析。测试报告仅仅是测试总结的一部分,是对测试过程的描述和测试结果信息的汇总,并根据过程数据做分析给出测试结论评估。
测试总结:测试总结的是问题,是风险,是经验,是如何改进,是分析测试过程中的问题,并针对项目进行分析从而找出解决方案。也可以说用于分析并总结这些缺陷,将总结出来的经验用于指导下一次的测试用例设计。在每个版本测试完毕后,要进行测试总结,做一些比例的总结、缺陷严重级别及比例的总结,人员工作效率的总结,还有最重要的是风险的平复,对下一测试版本的建议等。
我所理解的测试报告是对外的,需要正式提交的一份文档,它是一份有规则、有结构的正式文档,需要涵盖我们的目的、背景、测试概要(测试环境和配置、测试方法和工作、测试概要分析表)、各模块的完整测试情况(功能测试、性能测试、可靠性测试、兼容性测试、安全性测试、易用性测试、兼容性测试)。
而所谓的测试总结是对内的,对我们内部在自己测试过程中的问题、难点进行整理以吸取教训和经验,在下一次测试开始前能更好的进行改进的一个反思的过程。它所涵盖的应该是一些分析数据,比如测试用例分析、缺陷分析、质量优势、质量问题总结。
大纲:引言+测试概要+测试结果及缺陷分析+测试结论及建议
做任何测试总结,我们处于互联网行业,一定首先要想到的是如何使用工具来帮助我们达到目的,而不是通过人工去实现。我们目前通过使用工具EXCEL工具的宏功能和结合禅道测试-BUG、用例,进行定制编写相应的代码,进行定制化缺陷分析。
在测试用例分析的时候,涉及到的几个公式:
3.BUG结果分析展示数据:总的用例BUG-统计与分析、BUG趋势、BUG-遗留-严重程度和优先级、BUG-遗留-开发-严重程度和优先级、BUG-遗留-类型分布、开发分布、激活天数、BUG-本周创建-严重程度、BUG-本周关闭、BUG-累计情况-严重程度-状态。
具体实例,根据某个项目进行详细分析。
测试总结
1.1编写目的
本测试总结了具体编写目的,指出预期的读者范围。
本测试总结为XXX项目的测试总结,目的在于总结测试阶段的测试及分析测试结果,描述系统是否符合需求(或达到XX功能目标)。预期参考人员包括用户、测试人员、开发人员、项目管理者、其他质量管理人员和需要阅读本总结的高层经理。
1.2项目背景
对项目目标和目的进行简要说明。
1.3系统简介
设计说明书中必要的框架图和网络拓扑图。
1.4术语和缩写词
1.5参考资料
2.1测试用例设计
2.2测试环境和配置
2.3测试方法和工具
汇总各种数据并进行度量,度量包括对测试过程的度量和能力评估、对软件产品的质量度量和产品评估。
需求覆盖:
需求覆盖是指经过测试的需求/功能和需求规格说明书中所有需求/功能的比值,通过情况下要达到100%的目标。
测试覆盖:
BUG趋势图预期结果展示:
BUG趋势图实际结果展示,若与预期不一致,解释原因,比如:
缺陷趋势预期:
激活状态BUG-严重程度与优先级:
遗留数量>0原因:
延期修复BUG-严重程度与优先级:
1和2延期数量>0原因:
3和4延期数量>threshold原因:
模块VS严重程度(分析BUG数量TOP2的模块)
各程度占比(分析严重程度为1和2过多的原因)
BUG产生原因分析:分析数量TOP2的类型
BUG解决方案分析:分析无效BUG数量过多的原因(已解决、延期处理为有效BUG)
BUG激活次数:分析各位开发人员解决BUG的效率及质量
BUG由谁产生:BUG制造者分布
BUG发现阶段:应组件测试>集成测试>系统测试>验收测试>试运行
分析验收测试、试运行BUG过多原因
BUG由谁发现:分析测试效率、质量
对过程、缺陷分析之后下结论。
优化:根据项目实施过程中的问题做总结分析,针对问题找到解决方法,进而改进项目实施中的缺陷,提升项目实施质量。按照软件生命周期分为3类:最终产品质量度量、过程中质量度量、维护质量度量。
(1)产品质量度量:缺陷密度、用户报告的问题和用户满意度等。
(2)过程中质量度量:测试进度偏差、案例执行率、测试案例有效性、测试案例覆盖率、基于轮次的缺陷发现率等。
如果有更好的想法,欢迎大家留言讨论,本文只代表个人的不成熟想法,请指教!