思码逸企业版 4.0 特性之二：支持 DevOps 全工具链数据分析

不少刚接触研发效能的管理者可能对研发效能体系有很宏大的构想，希望可以尽量多地接入各种数据，最终构建一个可从多种维度观察分析研发效能的指标中台。然而在实现这个构想的过程中要解决很多难题。我们在上一篇文章中，就讲到了研发效能数据归集的难题。而那只是第一道坎，在接入数据后如何抽象多种工具？如何将数据与研发效能指标映射与关联？这是在后续数据处理过程中研发效能团队们会遇到的问题。

本文我们针对思码逸企业版 4.0 特性分享的三篇文章中的第二篇。接下来我们就来讲讲数据清理与治理中的难题。

难题一：数据归集后难处理

正如我们上一篇文章说的，研发效能数据一般是散落在软件研发生命周期中不同阶段、不同工具中，难以归集并与研发效能指标进行映射和关联。如果一个刚接触研发效能的团队，要做好这个工作，可能会花费数月的时间。

首先，获取数据并不是想象中那么简单，每一个工具用于拉取数据的 API 的配置都需要逐一尝试之后才能正常获取到你想要的各类数据。而且，如果你在软件研发过程中使用了多种工具，一些工具的 API 会存在 rate limit ，那么拉取数据的时候还要考虑如何处理并发，如何容错，如何设计数据同步机制等等。这些任务会是个漫长地摸索与试错的过程。

其次，通过 API 获取到的原始数据是无法直接使用的，需要理解它背后的研发过程，然后对数据进行清洗，并关联人员、部门、项目等维度信息，最终校验后，形成干净、可用于数据分析的“研发数据宽表”。我们以 JIRA 为例。JIRA 的 API 提供出来的数据中会包含很多对其系统有意义，但对度量研发效能无意义的结构化信息。假设你需要的用户 ID 这个字段，但是在提取这个实体的数据时，JIRA 会同时将该用户的头像、账户类型、时区等字段一同给你。这时候就需要筛选清洗，只保留 ID 这一个数据。而 JIRA 中有很多个实体，例如 Issue、Changelog 等，每个实体包含多个字段。每一个实体的数据都需要做清洗。而这只是 JIRA 这一个工具而已。如果你还使用其他的工具，你还需要把理解其 API、数据结构，到数据清洗，再到接入到 BI 这个过程重复一遍。这是个漫长且繁琐的过程。

在完成一个工具的数据清洗之后，还需要将不同工具之间的数据关联起来。假设你的公司使用 Github 作为代码管理工具，并以 JIRA 作为项目管理工具，那么就需要打通不同流程和工具之间的筒仓，把其中的的数据关联起来。如果后续又启用了其它研发工具，那么又要重复这个数据的提取、处理和清洗的过程。

图：不同工具的数据关联

最后，在获取到数据之后，最好进行分层的存储，因为在把原始数据清洗、抽象化的过程中可能会丢失一部分的细节数据，那么就需要将原始数据与抽象后的分别存储，因为在后续进行指标的扩展、变更时都会用到原始数据。不过，在整个过程中，数据的清洗也会占用大量的时间精力，仅 JIRA 一个工具的数据清洗就会占用大量精力。

难题二：研发指标体系难建立

现在当你完成了数据的处理，你要怎么来设定符合自己团队的指标体系呢？你大概率会发现现在遇到的研发效能问题难量化，找不到好的指标。例如有些公司收集了很多指标，例如工时、故事点、需求交付数，但却不知道该用哪个来度量效率；还有一些公司希望可以管理需求的交付，就使用了需求交付数作为度量指标，但是在执行过程中总会有人为了让数据好看讲需求拆小，如此度量出来的数据就无法体现实际的项目/需求交付效率。

实际上建立指标体系，或者设计出一个好的指标非常难。首先你要熟悉团队内部的研发过程、评价维度等，才能做好一个指标体系的建模。同时，你还需要需要用到大量的数据分析领域知识，以及“GQM”方法，才能设计出合理的指标。

思码逸企业版 4.0 加速研发数据治理

思码逸企业版在升级至 4.0 版后，可以快速帮助研发团队归集清理数据，快速匹配研发效能指标。在数据治理与指标匹配层面， 4.0 版具备以下特性：

一站式的数据治理能力

思码逸企业版 4.0 已对接多种研发工具，在简单配置后即可完成数据源的接入，并自动触发后续的数据处理流程，完成数据的清洗，生成各领域的研发数据宽表。同时，解决了多工具接入时的容错、调度问题，可提供更实时的研发数据度量与分析体验。

图：数据的归集示意图

即开即用的数据指标集

思码逸已经为不同行业、不同研发团队规模、不同研发模型和发展阶段的数十个行业客户提供了一站式研发效能度量分析服务，基于对多种研发效能度量场景的经验，我们效能指标定义与计算方法模糊的问题，在企业版 4.0 中内置了一套研发效能指标体系，并以 GQM 看板的形态提供给用户。它将具体场景下的具体度量目标拆解成问题，再由问题引出指标图表，层层递进地呈现效能表现，并引导用户适时下钻探索。在用户完成工具数据的接入后，系统会解析其中的有效字段，可在 GQM 看板中看到指标，用户无需手动配置复杂的计算分析路径，即开即用。

图：指标体系示例

现在就试试

思码逸企业版 4.0 现已上线。如果你正苦于研发数据的归集与处理、指标体系的建设，欢迎扫码申请免费体验思码逸企业版。