测试工具也有程序错误
当测试员发现花了很高的价钱采购的质量工具本身有很多程序错误时,会很愤怒。的确,与可比较(但是便宜一些)的开发工具相比,测试工具尝尝程序错误更多。要计划测试工具,并花时间找出解决程序错误的方法。
有些工具专门支持特定的组件技术。这些组件技术中缺少可测试性,是导致测试工具存在程序错误的一个原因。
工具程序员必须首先等待能够获取这种技术。
然后必须对组件实施逆向工程,确定如何增加测试支持。
在此期间,产品程序员又开始使用最新的组件技术,而工具提供商还不能提供所需的工具更新。当测试员需要时,提供商会让工具匆忙通过测试,以尽快交付给测试员。
只要必须对组件技术实施逆向工程,而不是从头开始设计,这种循环就会永远进行下去。我们满怀希望并听到过改进承诺,但是很难说什么时候会改进。这时一个全行业范围的问题。
有时测试工具会受其他组件中的程序错误的影响。我们中的 Pettichord 使用过一种执行不可靠的执行工具,有时不能生成鼠标事件。最终发现是操作系统驱动器的问题。没有工具这种不可靠是可重现的。为什么手工测试员没有发现呢?因为他们没有注意到偶然的鼠标移动或点击没有起什么作用。如果他们注意到,他们看起来还不知道这个缺陷。对可测试性的严重影响看起来不重要。我们最终使用不同的鼠标驱动器解决了这个问题。
有些工具可能会对正在测试的产品产生很大的影响,以至于不能使用这样的工具。覆盖率和内存监视器必须对软件插装,要占用相当多的内存。这样的工具会使产品执行速度降低过大,以至于不能执行测试。
由于测试工具有这样的坏名声,因此程序员可能会在认真考虑自动化测试发现的程序错误之前,要求测试员在工具之外重视自动化测试所发现的所有程序错误。这会进一步增加分析自动化测试所捕获失效的难度。
搜索微信公众号:TestingStudio 霍格沃兹的干货都很硬核
评论