看懂这 5 幅图,研发效能分析和改进就容易了
作为 CTO 或企业管理者,我们如何去了解和衡量研发团队的研发效能呢?
作为 PMO 和效能负责人,我们该从哪几个维度来回答关于研发效能的问题呢?
带着这两个问题,我们进入到研发效能分析的场景,聊一聊我们如何通过效能数据分析,帮助企业管理者透明化研发效能水平和变化趋势,分析效能问题根因、指导改进行动、衡量改进效果。
注:以下内容分为视频版和文字版,读者可自选学习。
观看地址:https://v.qq.com/x/page/j3324np3qir.html
在云效效能洞察 Insight 中,我们可以从 3 个维度衡量和分析团队的研发效能:
看交付速率:单位时间内,团队能够交付多少需求,即需求交付的吞吐量;
看响应能力:需求从提出到交付上线的时间长短,即需求交付周期;
看交付质量:交付过程中缺陷发现和修复的及时性,以及缺陷数量的多少。
看交付速率
在云效 Insight 的效能分析场景报表,通过「需求交付速率」指标卡,我们可以:
看到在单位时间内的需求交付量,及所选时间段内平均单位时间需求交付量;
看到需求交付速率趋势,根据近期交付量来合理安排团队将来的交付节奏和对外的承诺。
需求交付速率:横坐标为时间,以周为单位,纵坐标是需求的数量(个),柱子高低代表一周交付需求数量的多少,柱子的颜色分布分别对应交付周期的长短分布。
注:按需求个数统计的方式,因需求大小不一致会出现一些统计偏差,因此期望做需求交付统计时能够将需求粒度拆分的相对较小且均匀。
在「需求交付速率」指标卡中,我们可以深入分析:
1. 根据团队交付速率,评估团队交付能力
我们可以根据团队近期的交付速率,预测团队将来的交付速率,以便更好地安排团队未来可接纳需求的工作量。比如最近 6 周,每周交付需求数量为 10,12,15,13,11,17,平均值为 13,我们可以预测团队每周可交付需求数量在 13 个左右,当我们知道这个数据时,可以更好的安排需求交付的节奏和时间,并对外部承诺。
2. 通过观测发布频率,推进团队持续交付
如果每周都有柱子,说明每周都有发布,如果柱子有间隔性,即每两周有一个柱子,说明是两周一次发布,以此类推。
看响应能力
通过云效 Insight 效能分析报表中的「需求交付分布」、「需求累积流图」指标卡,我们可以看响应能力。
首先,在「需求交付分布」指标卡中,我们可以:
看到各需求上线时间的分布情况,反映团队的需求发布频率;
看到需求交付周期的趋势,反映团队对需求响应能力及变化趋势;
通过历史数据分析,预测将来的响应能力。
指标卡中数据含义:
需求交付分布,也叫需求控制图,横坐标为时间,纵坐标为需求交付周期(天),图中:
圆点:代表一个已交付的需求,它所在的横坐标为交付时间,纵坐标为该需求交付时长;
折线:代表需求交付周期的滚动均值,取该点以及前后各 1/3/5/7/9 点(随区间事项数变动)的平均值;
面积:蓝色阴影区域代表滚动标准差,即实际数据与滚动平均值的偏差量;
横线:所选时间区间内,需求交付周期的平均值。
在看到「需求交付分布」的数据时,我们可以从 5 个方面进行理解和分析:
1、纵向上,交付需求的圆点越向下越好,反映出周期时间越短、响应能力越快,可预测性越好;
2、横向上,交付需求的圆点分布越密越好,反映出需求在频繁地交付,即发布频率越高;
3、横向上,交付需求的圆点分布越均匀越好,反映出需求在持续稳定地交付,更趋向于持续交付;如果圆点分布间断而交付集中,可反映出是批量地交付需求;
注:每个批量的间隔时间比较长(譬如 2 周或 1 个月以上),可采取减少需求进出的批量和增加发布窗口的措施。
4、交付周期线,代表在所选时间段内,交付周期的一个基本水位,该水位越低越好;
5、动均值折线,展示需求交付周期的变化趋势,期望是有往下走的趋势,代表团队的响应能力在持续地提升。
「需求交付分布」可以反映出团队是否已具备持续快速交付需求的能力,帮助团队回顾和分析队的效能情况,并根据历史效能情况,设定团队的效能目标。其次,对业务人员来说,可随时查看交付团队的效能情况,预测需求的上线时间。
「需求交付分布」是针对交付的结果进行度量,如果需要对整个交付过程进一步了分析,我们可以中点关注「需求累积流图」,可综合反映了前置时间(交付周期)、在制品数量、交付速率等指标,并体现了团队协作、计划和交付需求的模式,常用以发现系统性的改进机会,下面就对该图进行进一步介绍。
通过「需求累积流图」指标卡,我们可以:
看平均交付周期:需求在各阶段的停留时长之和,指需求交付之前,从开始到结束所经历的时间;
看在制品数量:需求在各阶段的停留数量,可以反应出处理需求批量大小和并行度情况;
看交付速率:发布阶段曲线的整体斜率,可以反应出团队的需求交付速率。
指标卡中数据含义:
累积流图:横坐标为日期,纵坐标为各个阶段累积的需求数量;从左到右的每个阶段,都是需求按顺序变化的阶段,相应的,曲线对应的分别是这些阶段的累积完成的需求数量。
「需求累积流图」同时具备整体性和动态性,它既反映了团队整体的协作模式,端到端的动态交付过程,同时还反映了交付模式和交付能力的变化趋势。我们可以从累积流图中,分析团队的协作和交付模式,并发现改进机会。我们从下面 3 个方面进行分析:
1. 团队的计划模式
主要看需求进入开发阶段的数量和频率,如一个项目中,进入开发阶段的批量大,而且频次低(譬如每月一次),往往是大批量的输入,很容易出现大量需求并行,导致需求交付周期变短。反之,如果是小批量,多频次的输入,让在制品数量变低,缩短需求交付周期;
2. 需求的转测模式
需求大批量转测,带来的问题是,开发完成的需求,要等待较长时间才开始测试,导致更多在制品,并延长了需求交付周期;
3. 需求的发布模式
需求发布会出现阶梯状,阶梯的间隔越长,代表发布的频率越少,也就是每个发布的间隔时间比较长。同时也可以看出来,发布间隔越长,则每次发布需求的数量就越多,而发布的难度随着需求的增加而增加。
看交付质量
通过云效 Insight 效能分析报表中的「缺陷趋势」和「缺陷修复分布」指标卡,我们可以:
看到缺陷被发现和修复的趋势,反映团队的交付模式;
看到存量缺陷的变化趋势,发现与修复分布是否趋于合理,反映项目的质量状况;
看到缺陷修复周期的变化趋势,反映团队对缺陷的及时修复能力。
首先,我们来看一下「缺陷趋势」,如下图:
指标卡中数据含义:
缺陷趋势图:横坐标为日期,纵坐标为缺陷数量,横坐标上方红色柱子代表这一天发现缺陷数量;横坐标下方绿色柱子代表这一天解决的缺陷数量;橙色曲线代表缺陷存量。
在「缺陷趋势」指标卡中,我们可以分析:
1. 看团队的交付模式
如果长时间没发现缺陷,而到某一段时间集中新增大量缺陷,能够反映出是瀑布交付模式。如果缺陷被持续发现和持续解决,且存量缺陷处于较低水位,这种情况更容易形成持续交付模式。
2. 看存量缺陷的多少,判断交付质量
需求在上线前,一般需要把缺陷数量清零,如果项目的存量缺陷一直处于较低水位,反映出交付质量比较高。
举一个从小瀑布模式向持续交付模式转变的例子,如图:
左半部分
团队属于小瀑布的开发模式。前期,团队集中设计、编码,引入缺陷,但并未即时地集成和验证。缺陷一直掩藏在系统中,直到项目后期,团队才开始集成和测试,缺陷集中爆发。越到后期发现的缺陷,修复难度大幅提升,修复成本大幅增加。
小瀑布模式下,过程质量差,带来大量的返工、延期和交付质量问题。该模式下,产品的交付时间依赖于何时缺陷能被充分移除,无法做到持续交付,也无法快速响应外部的需求和变化。并且,这一模式通常都导致后期的赶工,埋下交付质量隐患。
右半部分
团队开始向持续交付模式演进,质量得到控制。在整个迭代过程中,团队以小粒度的需求为单位开发,持续地集成和测试它们,即时发现和解决问题。缺陷库存得到控制,系统始终处于接近可发布状态。这一模式更接近持续发布状态,团队对外的响应能力随之增强。
接下来我们来看「缺陷修复分布」:
指标卡中数据含义:
缺陷修复分布,也叫缺陷控制图,横坐标为时间,纵坐标为缺陷修复周期(天),图中:
圆点:代表一个已修复的缺陷,它所在的横坐标为修复时间,纵坐标为该缺陷的修复时长;
折线:代表缺陷修复周期的滚动均值,取该点以及前后各 1/3/5/7/9 个点(随区间事项数变动)的平均值;
面积:红色阴影区域代表滚动标准差,即实际数据与滚动平均值的变偏差量;
横线:所选时间区间内,缺陷修复周期的平均值。
在看到「缺陷修复分布」图的数据时,我们可以从 4 个方面理解和分析:
纵向上,代表已修复缺陷的圆点越向下越好,反映出修复周期越短、修复能力越快;
横向上,代表已修复缺陷的圆点数量越少越好,越少代表缺陷的数量越少,开发提测的质量比较高;
平均修复时长线,代表团队缺陷修复周期的一个基本水位,越低越好。很多团队会设定缺陷修复目标,譬如缺陷要日清,即缺陷要在发现后的 24 小时内修复;
滚动均值折线,展示缺陷修复周期的变化趋势,期望有往下走的趋势,代表团队修复缺陷的速度越来越快。
缺陷修复分布图,对于团队来说,可用于在回顾会上分析团队过去的质量情况,也可根据历史的情况,来设定团队的缺陷修复目标。
整体回顾
我们可以从产能、效率和质量 3 个维度来观测团队的研发效能现状,并进行针对性分析,重点观测 5 幅图:
需求交付速率:反应团队历史的需求交付吞吐量,可对未来的交付产能进行预测;
需求交付分布:反应团队历史的需求响应能力,可对未来的需求交付速度进行预测;
需求累积流图:反应团队整体的协作模式,可分析团队的交付模式和交付能力;
缺陷趋势图:反应团队历史的过程质量情况,可分析团队的交付模式和质量状况;
缺陷修复分布:反应团队历史的缺陷修复速度,可对团队的缺陷修复速度进行预测。
如果需要更多数据进行分析,也可以参考:需交付时长按阶段分布、 需求累积流图、存量缺陷按成员排名、存量缺陷占比等。
不管在阿里内部,还是我们接触的大部分客户,大家通常以缩短需求交付周期为目标。阿里提出的“ 211” 目标中,第一个 2 就是要把需求交付周期缩短到到两周。
如果你想要体验云效 Insight 的敏捷项目度量场景报表,点击下方链接,前往云效 Insight 即可「免费试用」。
https://www.aliyun.com/product/yunxiao/insight?channel=yy_yc
版权声明: 本文为 InfoQ 作者【阿里云云效】的原创文章。
原文链接:【http://xie.infoq.cn/article/68aa01b67a7b7a97f3bde5a0b】。文章转载请联系作者。
评论