做产品质量“守护神” 华为云 CodeArts TestPlan 测试管理平台解读

2019 年 12 月 20 日,美国波音公司的新一代载人飞船 Starliner“星际客机”自卡纳维拉尔角发射升空,执行该飞船的第一次飞行测试任务。按照计划,飞船在这次无人试飞中将与国际空间站对接,为宇航员送上圣诞礼物。然而在运载火箭工作结束后,飞船出现故障,最终无法与国际空间站对接,不得不提前返回地面。

试飞失败之后,波音公司公开承认,飞船的软件系统存在严重缺陷,在测试阶段时仅将整个飞行过程分成了几个小单元分别进行测试,但未对飞船进行从发射、空间站对接到返航着陆的全流程集成测试。

从这个案例不难看出,质量是产品的生命线,质量问题轻则带来业务故障,重则造成人员伤亡和财产损失。近年来,业界知名的软件质量事故时有发生,不仅涉及金融、航空、交通、民生等不同行业,也影响用户数据、SaaS 应用、数字化基础设施等各业务领域。

在万物互联的时代,软件的规模化、复杂化程度不断提升,但是产品质量问题依然严峻。作为产品质量的“守护神”,测试管理承载着构建质量全方位防护盾的使命,是各行业保障产品开发与交付的关键。

测试管理,如何成为软件质量的“守护神”?

在软件研发中,测试是一个包含计划、准备和测量活动的过程,其目的是确认被测系统的特性,并指出需求和实现之间的差异。随着现代软件开发的规模持续增长,满足全场景、大规模、高并发业务的测试服务平台,已成为提升软件测试效率、保障测试质量的必备要素。

华为视质量为企业的生命,质量是华为价值主张和品牌形象的基石。一直以来,华为持续投入质量建设,把产品开发、测试等全生命周期的流程和标准固化至工具平台中。同时,华为将测试管理的标准化理念融入 IPD 流程,指导云计算、网络、终端、芯片、汽车等业务测试实践,保障产品高质量交付。

经过多年的丰富开发实践,华为总结出测试管理的三大原则:

第一,构建质量分层防护网,明确各层测试活动输入输出和质量门禁

首先,在总体策略阶段,明确不同层级的责任主体和准入、准出门禁,遵循“测试尽早介入”基本原则,从而让质量风险尽早暴露,降低整体修复成本;其次,明确各层级的测试全过程,包括设计、实现、执行和评估阶段的准入和准出条件,并通过质量规范检查和评审保障,一次性把事情做对。

第二,测试模板数字化,关键资产基线化

借助统一工具平台,把测试经验和质量要求标准化成数字化模板,包括总体测试策略、测试方案、测试用例、测试报告模板等。在测试作业中,开发人员可随时随地应用模板,自动对接上游获取关联需求等输入数据,自动对接下游提升作业和跟踪效率。在项目完成时,及时将测试用例等关键测试资产合并到产品基线持续演进,以便跨项目和迭代复用,保障大规模项目的测试设计和评估无遗漏,测试过程可跟踪、可闭环。

第三,测试过程端到端持续监控、审核和反馈

在端到端测试过程中,首先,测试过程需实现端到端双向可追溯;其次,关键交付件需通过评审和确认;最后,需及时识别在迭代测试过程中的进展和质量风险,动态调整测试计划。通过测试过程中的全周期监控和审核,促进测试过程持续改进优化。

总之,测试流程标准化、测试过程数字化、测试资产基线化是做好测试管理,进而实现测试自动化、智能化的基础。基于测试流程标准化体系,企业可更好保障测试活动高效、协同和可信。

华为云 CodeArts TestPlan,内建高效协同可信的测试理念,助力产品高质量发布

2023 年 1 月,华为将内部多年测试实践沉淀的测试管理服务,升级为全新的 CodeArts TestPlan 服务,重磅上线华为云。这是一款自主研发的一站式测试管理平台,沉淀了华为 30 多年高质量的测试工程方法与实践,覆盖测试计划、测试设计、测试执行和测试评估等全流程,旨在帮助企业协同、高效、可信地开展软件开发测试活动,保障产品上市质量。

在产品研发测试过程中,企业往往面临一系列挑战:产品测试设计粗放,测试执行覆盖不全,漏测导致现网事故时有发生;产品架构复杂,组件并行分支多,跨团队跨项目测试协同效率低;测试人员流动率大,产品频繁重构,亟需高质量的测试工程能力来验证存量特性,保障产品功能正常,高质量上线。

针对这一系列研发测试挑战,华为云 CodeArts TestPlan 重磅发布五大特性: 

特性一:启发式测试策略与设计,让测试完备性不再遥不可及

缺陷越早发现,修复成本越低。数据显示,产品发布后每个缺陷的平均修复成本是验证阶段的 6 倍以上。遗留到产品发布后的缺陷,不仅会大量增加企业的研发修复成本,还会影响产品的口碑和客户满意度。因此,如何提升测试的完备性,提前拦截产品缺陷,是企业产品质量面临的 TOP 级问题。

针对这一研发痛点,华为云 CodeArts TestPlan 提供了多维度测试策略和设计模板,应用启发式测试策略和设计模型,提供“需求-场景-测试点-测试用例”四层测试分解设计能力,启发测试人员发散性思维,将脑海中的测试模型图形化地表达,支撑所有利益干系人高效沟通与交流;通过该特性,能够持续优化测试完备度,提升 30%的测试设计效率,帮助测试人员在执行过程中减少产品测试遗漏。

启发式测试策略与设计 

特性二:亿级测试资产管理,大规模团队协同测试,保障产品特性不丢失

产品的竞争力特性是企业持续盈利基业长青的基石。为了满足各行业客户日益增长的需求,企业的软件产品特性往往不断丰富和演进,对应的测试用例资产持续增多,投入测试的人数也随之增加。如何管理好大规模测试资产,如何协同大规模测试团队,如何保证客户的价值特性不丢失、体验不下降,都是企业产品测试面临的关键挑战。

华为云 CodeArts TestPlan 提供了测试用例基线化管理能力,持续积累和沉淀测试用例,帮助企业实现产品价值特性的看护。不管是新增需求或者重构架构,积累的基线化用例,永远是企业产品持续获得客户认可的保障。同时,TestPlan 提供了“产品基线库、版本分支、测试计划”三层用例管理和评估能力,支撑团队间作业高效协同,实现亿级测试资产的管理与跨版本复用,满足复杂产品多版本并行研发交付的场景,测试资产复用率提升 60%。

TestPlan 全量用例基线化管理 

特性三:内置 IPD 测试流程与规范,让高质量从偶然到必然

随着产品的规模和复杂度增加,测试活动的开展也需要有章可循,形成科学的流程和规范。以华为公司为例,为保障产品测试活动有序开展,华为在 IPD 流程中定义了从需求分析阶段到版本发布阶段之间的详细测试活动和流程,并通过标准化的规范,持续保障测试验证的高质量。

华为云 CodeArts TestPlan 内置 IPD 测试流程与规范,从测试策略、测试设计、测试管理、测试执行到测试评估,全流程融入 IPD 高质量实践精髓,并伴随着华为产品发展而持续优化演进,广泛应用于华为各业务线的产品测试中。

IPD 测试活动核心流程图 

特性四:全方位测试质量评估,杜绝盲人摸象

管理学大师彼得·德鲁克说过,没有度量,就没有管理。所有商业产品质量管理都不例外。基于成熟的测试质量评估模型和规范,对产品质量的科学、客观评估,可以让产品质量可视化、可度量,让产品发布前的质量评估不再“盲人摸象”,更利于产品持续改进,“让质量暴露在阳光下”,达成高质量的目标。

华为云 CodeArts TestPlan 提供需求覆盖率、需求通过率、用例执行率、遗留缺陷指数等 10 多个质量度量指标,支持功能、性能、可靠性等维度的质量评估,测试评估周期从天级缩短到小时级。

TestPlan 同时提供了分支和测试计划两级的实时质量报告,全方位、可视化呈现研发测试过程和结果数据。该特性支持产品研发阶段的实时质量评估,及时、高效、准确地呈现产品质量现状,让研发人员实时掌控研发进度和风险,让产品质量不再是黑盒,为产品上线提供决策依据。

全方位多维度的测试质量评估 

特性五:建立测试双向追溯链,以过程可信保障结果可信

ISO15288 测试规范定义了通用系统生命周期过程,其中,验证过程与确认过程中提出了对需求、测试设计方案、用例、缺陷等双向可追溯的要求。在华为内部,测试过程端到端可追溯也成为了明文要求的标准。

可追溯的测试过程能力,可以使组织和项目实现测试过程证据链可视化、及时监控和识别测试过程风险,加速跟踪问题闭环,有效减少漏测问题,及时发现质量风险,是产品高质量测试的必要条件。

华为云 CodeArts TestPlan 支持建立需求、测试方案、测试用例、缺陷等双向关联,实现测试过程可追溯,通过可信的测试过程,保障结果可信。

测试双向追溯链

基于以上五大特性,华为云 CodeArts TestPlan 可实现测试全流程标准化、测试资产复用及基线化、测试端到端过程动态实时监控,保障测试过程可信,持续助力客户产品高质量交付。

截至 2022 年年底,华为云 CodeArts TestPlan 已经高效支撑华为超过 4 万测试人员的测试作业,测试用例月执行超过 2 亿次,月 API 调用量超过 12 亿次,累计管理超过 10 亿测试用例,覆盖华为终端、网络、云计算、芯片、汽车等大规模复杂业务场景。

例如,华为数通路由器业务拥有丰富的产品系列,包括骨干网、城域网、接入网各种场景的组网需求,亿级规模的软件代码驱动各类硬件形态,构筑了路由器业务海量的功能特性。这种超大规模、高复杂度的产品测试,需要与之相对应的大规模测试团队。在海量硬件形态与有限的时间和资源下,如何高效找准测试靶心,确保测试范围精准、无遗漏、无冗余,保证产品的质量、可靠性与合规性,是华为数通路由器测试业务面临的挑战。

华为云 CodeArts TestPlan 支持海量特性的高效测试管理,在特性需求开发的同时,通过基于需求-场景-测试点-用例的分级测试设计方法,将需求逐级分解生成用例,并分层分级有序管理,支持用例在不同产品版本间高效复用及合并。同时,平台提供多维度版本质量评估报告,及时准确反馈测试结论,通过需求、方案、用例、结果、缺陷双向可追溯的能力,实现产品测试过程可管理、可信任。

得益于这些特性,华为云 CodeArts TestPlan 帮助华为数通路由器产品继承复用十余万存量特性用例,累计管理近百万用例,支撑大规模测试团队高效协作,快速开展测试活动,全量测试执行周期从周缩短至天,确保路由器产品高效率高质量交付。

过去 30 多年来,华为公司一步步经历了流程化、自动化、智能化的测试发展历程,基于协同、高效、可信的测试理念,形成了丰富而完整的测试体系。展望未来,华为云 CodeArts TestPlan 将不断沉淀大型企业测试最佳实践,打造测试覆盖全、测试评估准、测试执行快、测试周期短、测试成本低的测试管理平台,持续提升关键技术竞争力,守护客户产品质量,助力客户商业成功。