不要强求 100% 的自动化
有些软件经历错误地认为自动化测试总是意味着更好的测试,他们强制要求所有测试都应该自动化。这种要求对很多项目造成损害。
如果项目经理或执行经理容易上当,也许当别人给他演示最新测试工具,或讲解最新杀手锏测试方法时,应该有一位高级测试员在场。
如果有顾问或工具推销员声称行业领先的公司通常会达到 100%自动化测试率时,应该引起怀疑,让他们举出证据。很多行业领先公司成功地使用了混合测试技术,包括不可重复的提供最低限度文档的探索式测试。而且他们也应该是这样。自动化测试通常意味着更经常地运行更好的测试。很多测试只值得运行一次。
应该打破的另一个神话是,按下按钮测试就会开始,并自动地报告所发现的所有程序错误。提供其测试工具与跟踪工具间集成的工具提供给商往往鼓励这种不负责任的幻想。我们从来没有看到过这会改进测试、报告或程序错误跟踪。如果在报告程序错误之前没有人来分析程序错误,就会浪费程序员的时间,并会引起程序员的反感,会由于不得不对付大量虚警和冗余而感到不满。
也就是说,在一下特定情况下,创建范围最大、最彻底的自动化测试可以是合理的目标:
由于合同或一般原因,必须证明产品的最终版本通过很强的攻击测试。
通过对产品的测试确认客户能够自己运行。(这种实践在电信业很常见。)
产品对后向兼容性有严格要求,要求兼容很多版本。
某些产品只能通过执行自己编写的程序来编写。
但是,即使是对这些情况,我们也认为测试员总是可以进行一些非正式手工或单一使用、没有编制成文档的测试。不要对测试施加人为限制。
搜索微信公众号:TestingStudio 霍格沃兹的干货都很硬核
评论