写点什么

火山引擎 DataLeap:3 步打造“指标管理”体系,幸福里数据中心是这么做的

  • 2023-05-18
    北京
  • 本文字数:3018 字

    阅读完需:约 10 分钟

火山引擎DataLeap:3步打造“指标管理”体系,幸福里数据中心是这么做的

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群


一家企业,为什么要搭建指标体系?

一句话总结来说,全面、合理的指标体系可以帮助企业统一目标,将业务环节量化,帮助策略执行落地、定位问题、调整方向。但指标体系建构并非易事,指标如何维护和更新、如何统一指标口径、指标如何能科学指导业务决策,是企业构建指标体系遇到的常见问题。

幸福里 APP 是抖音集团旗下集内容、社区、工具于一体的房产信息综合平台,致力于提供多样化房产资讯、定制找房需求。数据建设是幸福里数据 BP 的核心工作,其中指标建设与管理是其中重要一环。指标是量化分析和构建策略的基础,是业务决策重要依据之一,也是数据团队重要的数据资产,因此幸福里指标管理是团队关注的重点之一。

本篇文章将从业务背景、业务痛点、幸福里指标数据实践、效果收益四个方面,介绍幸福里如何通过火山引擎 DataLeap、DataWind 等数据产品,从 0-1 完成指标体系搭建,并获得显著收益。

一、业务背景

幸福里指标管理经历了两个阶段:

  • 第一个阶段:幸福里业务快速迭代,数据侧以响应需求,快速支持业务迭代为主,指标没有统一的规范,粗放式管理,缺少指标拆解标准以及分类标准,导致指标一词多义、重复开发、指标冗余,容易出现数据质量问题。

  • 第二个阶段:幸福里整体业务发展趋于稳定,精细化运营对数据提出了更大的挑战。当前,数据侧以解决数据效率和质量问题为优先,进一步加强体系化建设,制定指标建设规范。

幸福里指标体系建设和落地离不开数据工具的支持。一方面,幸福里需要将不同数据源的指标进行建模,形成数据集,以便满足可视化查询的需要;一方面,也需要统一的平台规范化指标管理流程,提升数据模型的复用性,保证核心指标口径一致,提高业务方使用体验的效果。

作为火山引擎数智平台旗下的产品,DataWind 支持业务线创建项目来存放数据集,支持对指标数据的可视化查询,而 DataLeap 具备一体化指标体系建设和管理的能力,提供指标命名及口径管理的工具, 支持导入多种数据源构建模型以及灵活选择指标构建方式,通过一个平台即可实现指标管理。

由此,DataLeap 和 DataWind 成为幸福里团队构建指标体系首选。

二、业务痛点

第一,线下文档维护指标体系,格式不统一、更新不及时、维护成本高

  • 早期幸福里指标字典主要通过线下文档人工维护,并没有专门人员统一负责指标的管理;

  • 指标维护碎片化,不同业务模块维护各自指标库,指标字典文档格式不统一;

  • 相关人员缺少维护动力,新增或修改指标不及时,指标信息共享局限,无法触达幸福里所有用户。

以上问题给相关人员造成指标应用与管理上的压力,因此幸福里需要一个统一管理指标的平台,解决指标管理上的痛点。

第二,缺少指标分类和管理规范

在幸福里业务快速迭代过程中,数据侧为追求需求的快速支持,缺少指标的拆解或分类规范,存在重复开发、指标杂乱、一词多义、一义多词的问题,同时指标口径也没有在接口或数据做好透传,导致下游使用方不了解指标加工细节,进而可能使得数据质量问题频发。

三、应用实践

为什么要引入火山引擎 DataLeap?

  1. 通过 DataLeap 实现指标建设流程线上化、规范化,完成指标命名、指标新增与变更流程;

  2. DataLeap 功能上更加全面和丰富,支持指标拆解、维度管理、词根管理等操作;

  3. 对业务侧使用更加友好,指标提需、口径变更进行流程化管理,可以串联起数据 BP、分析师和业务共同维护指标。

LOOK 数据中心实践:指标 100%覆盖

  • LOOK 是幸福里内部效率管理系统,除作业功能模块外,销售人员作业数据分析也是 LOOK 重要功能,通过数据及时监控内部员工作业效率,反馈核心大盘数据。该系统下新房数据整体通过 DataLeap 同步 DataWind 数据集方式提供数据服务。


步骤一:

提需流程  确定数据 BP 和业务团队指标开发合作机制,当前幸福里数据 BP 和业务团队合作模式如下:


  • 指标开发

数据 BP 需要进行业务指标和分析维度的拆分,对于指标需先考虑指标字典中是否存在(防止重复开发),如果不存在, 需要拆解为原子指标+时间周期+修饰词, 并落入到指标平台;根据实际应用场景采用 DataWind 数据集或数据接口输出指标。

  • 指标管理

由数据 BP 和 DA(或业务人员)共同维护。业务人员维护指标的业务口径并进行分类,业务定义将在 DataWind 看板或产品页面展示露出。

数据 BP 维护指标技术口径,进行指标模型关联,提供数据应用。通过 DataLeap 形成了数据 BP 和分析师协同管理指标的诉求,同时统一指标查询平台。

步骤二:指标录入与维护

幸福里以离线数仓主题划分数据域,同时将 DataLeap 词根管理功能进行应用,规范指标命名。针对需求涉及指标将指标拆解并划分合适的数据域,便于责任人统一管理。

指标拆解流程

指标拆解完成后,对原子指标、衍生指标和复合指标进行创建和技术口径维护,结合需求创建数据模型打通 DataWind 数据集和 mfs 数据服务。

DataLeap 的业务管理模块由数据分析师或产品进行维护,主要是管理指标的业务分类和定义业务口径。业务定义将在 DataWind 看板或产品页面展示露出。其中生产信息可以查看当前指标的模型应用,方面后续指标使用分析。



通过业务侧指标维护和指标的生产信息模块,便于业务侧查询和使用指标,同时对外展示便于各方理解。

词根管理

目前在录入指标过程中发现存在关键字定义不一致,一个中文名称有多个英文名称或者一个英文名称在不同业务线下有不同的中文含义。

为解决此类问题,幸福里对词根进行维护,录入指标之前先在词根管理的字段管理模块查看对应关键字是否已存在。

通过词根管理,将核心字段命名进行规范,避免命名不统一,解决了一词多义和一义多词的问题。

步骤三:指标应用 &口径透传

权限打通

同步 DataWind 数据集与数据授权,数据授权操作只需在 DataWind 数据集进行。


口径透传

DataLeap 同步 DataWind 数据集后,下游配置的数据看板可以将指标口径进行展示,也支持指标平台的跳转,便于下游使用方了解指标加工细节。


通过以上三个步骤,幸福里实现以下几个方面提升:

  • LOOK 数据模块整体通过指标平台提供指标服务,看板上查看看板涉及的指标的口径,降低 DA 口径同步的成本。

  • 通过 DataLeap 减少数据 BP 重复开发、一词多义的问题,对应指标有相应责任人进行开发和管理,提高指标整体复用度。

  • 观测数据时,用户可以通过指标平台了解每个展示指标的含义,整体提高数据的准确性。

  • 指标字典从线下文档迁移到 DataLeap,通过线上配置化管理,降低数据分析师维护成本。

  • 以前,数据集指标口径不清楚需要找数仓人员确认,再通过代码获取指标技术生产逻辑;现在,DataLeap 配置指标口径,支持在看板直接展示,节省解释指标口径的时间。

  • DataLeap 具备指标分组的能力,让指标更有层级性,方便查找和管理,提升效率。

四、效果收益:数据 oncall 解决超 40%

通过 DataLeap 指标平台,幸福里数据团队完成交易平台新房方向 p0 指标 100%覆盖,包括指标定义、模型配置、责任人等元信息维护。

DataLeap 指标平台和 DataWind 打通,便于使用方了解指标加工逻辑,通过 DataWind 看板对应按钮跳转 DataLeap 直接查看指标口径描述和绑定模型情况。

下面是目前幸福里在 DataLeap 的使用数据情况:

  • 从数据上看,幸福里当前总录入指标数 504 个,模型数 28 个,交易平台整体指标覆盖率 60%。模型建设路径偏向业务驱动;业务维护率为 60%,和 DA 形成了一定的联动; 还需进一步在业务侧加强推广,提升指标消费热度。

  • 业务使用上,支持指标口径在看板和线上页面展示透出,便于下游了解指标加工细节,数据口径反馈问题减少 40%。另外,指标平台作为幸福里各方查指标用指标的统一平台,提高指标查询和消费效率。


点击跳转火山引擎DataLeap了解更多

发布于: 刚刚阅读数: 2
用户头像

小助手微信号:Bytedance-data 2021-12-29 加入

字节跳动数据平台团队,赋能字节跳动各业务线,对内支持字节绝大多数业务线,对外发布了火山引擎品牌下的数据智能产品,服务行业企业客户。关注微信公众号:字节跳动数据平台(ID:byte-dataplatform)了解更多

评论

发布
暂无评论
火山引擎DataLeap:3步打造“指标管理”体系,幸福里数据中心是这么做的_大数据_字节跳动数据平台_InfoQ写作社区