写点什么

建立数据地图,让数据资产“活”起来

作者:数造万象
  • 2022-12-08
    广东
  • 本文字数:2447 字

    阅读完需:约 8 分钟

建立数据地图,让数据资产“活”起来

当今世界,数字经济蓬勃兴起,正深刻改变我们的社会生活。在日常生活中,大家的手机上都会安装了一个手机地图 app。在地图上我们根据出行的需求,通过路线规划能够快速获取最便捷的交通方式。与此同时,还可以根据各种模糊的搜索满足“衣食住行”等生活需求,轻松做到走遍天下也不怕。

在数字化背景下,数据成为企业降本增效的新生产力,而企业产生和存储的这些海量数据,往往也不容易被发现和使用。因此,对于企业数字化转型而言,同样需要一套关于数据的导航系统,来帮助企业快速管理数据、找到数据和利用数据。

企业如果没有数据地图就好像读书没有目录、开车没有导航般,难以对数据形成有力的把握和掌控。在企业数字化转型过程中,数据治理是基石,而数据地图正是企业数据治理体系中无法割舍的重要功能之一。企业如何建立起专属的“数据地图”?

一、什么是数据地图?

提到数据地图,也许很多人会联想到通过建立各类型数据之间的逻辑关系,利用数据分析,以地图为载体,最终呈现出交互可视化的效果。虽然这看起来确实与“数据”一词紧密相关,但此“数据地图”却非彼“数据地图”。

关于数据地图

数据地图,就是在企业数据资产管理过程中,使用多层次的图形化展示方法,将企业内各类数据所在位置集中在“数据地图”模块。数据地图功能建立在元数据管理的基础上,能够帮助数据业务人员、数据开发人员、数据资产管理人员、清楚地知道企业拥有什么数据,它们存储在哪里并指导用户更好更快地查找、理解、使用和管理数据。

二、为什么需要数据地图?

在企业业务运转过程中,对于数据业务人员、数据开发人员和数据资产管理者而言,通常需要大量的数据调用和查找的需求,他们最关心的分别是哪些?

数据业务人员:通常关心的是数据是什么、数据在哪里、数据如何取、数据怎么用等问题。

数据开发人员:能否通过数据地图直接调用所需要的开发数据,通过指标注册、存在分析、链路比较等功能对指标的新增需求、加工流程进行一个统一的管理,避免企业数据资产冗余低效。

数据资产管理者:了解数据资产的全局情况,及时了解评估数据资产的配置、数据质量、风险评估等方面的情况,为进一步决策提供有力的数据支持,并落实管理动作。

三、数据地图有哪些功能?

在数据应用过程中,数据使用者经常会出现数据的流转线路不清晰、无法快速找到需要的数据、无法高效管理数据、故障排查效率低、链路优化困难等难题。

以下通过短片来了解数造科技新一代数据开发与管控平台 DataBuilder 的数据地图功能是如何为企业挖掘数据价值,给数据使用者提供快捷的找数能力吧。

01 资产搜索

对数据资产信息进行管理后,面向数据业务人员、数据开发人员和数据资产管理者提供的资产信息全文检索入口。

(1)支持根据元数据名称、标签、主题域等关键字信息进行全文检索,支持多条件组合查询

(2)支持对用户输入的关键字进行联想提示

(3)支持展示用户的搜索历史

(4)支持展示近一段时间的热门搜索词

(5)支持多种过滤条件,对搜索结果进行条件过滤及排序

(6)支持对搜索结果命中属性进行高亮显示

02 资产详情

✅ 表详情

展示表的详细信息,具体包括:

1、表基本信息,例如:英文名称、中文名称、标签、使用说明、所属主题域等;

2、申请表使用权限,可申请表的读写权限并授权至项目空间,支持同步创建沙箱表;

3、收藏表、编辑元数据属性;

4、表结构,展示表的字段列表,支持将表结构导出为 excel 文件;

5、分区概览,显示表的所有分区信息;

6、建表语句,查看当前表的 DDL 语句;

7、样例数据,展示当前表的样例数据;

8、血缘关系,展示表的上下游血缘关系图谱,支持下钻到字段粒度的血缘;

9、数据质量,展示当前表在数据质量模块相关质量规则校验记录及校验结果信息;

10、评论区,允许所有用户对当前表进行留言评论及打分。

✅ 模型详情

展示数据建模过程中已发布的逻辑模型信息,包括模型名称、所属主题域、标签、模型类型、物理化 DDL、评论等。

✅ 指标详情

展示数据建模过程中已发布的指标信息,包括指标名称、所属主题域、标签、使用说明、指标口径、评论等。

03 数据血缘

数据血缘是在数据的加工、流转过程产生的数据与数据之间的关系。提供一种探查数据关系的手段,用于跟踪数据流经路径和影响分析,在数据地图中数据血缘包含了表的血缘和字段血缘。

1、表血缘包括 table 节点和 process 节点,展示,字段血缘包括 column 和 column_lineage 节点

2、可对血缘图做过滤,选择显示层级数,过滤血缘图上或下游

3、点击节点可查看节点属性,通过点击节点属性的 ID 可跳到该节点的血缘图

04 数据权限申请

面向数据开发人员,可申请表数据读写权限至数据开发模块的项目空间中进行使用。

(1)展示用户对当前表的权限情况;

(2)支持批量申请表权限信息,申请通过后系统自动授权。

05 个人中心

我的足迹:以列表方式展示当前用户浏览足迹及浏览时间;

我的收藏:以列表方式展示当前用户已收藏的资产信息,方便后续快速查找;

申请记录:以列表方式展示当前用户已发起的数据权限申请记录,支持查看申请状态及申请结果。

四、数据地图对数据消费者的价值


对于数据业务人员

1、可以直接申请服务调用权限,通过资产目录,也可以实现快速找数的目的。

2、通过查询关键字、组合条件,或搜索历史进行资产快速检索查询结果将按照资产分布类型、匹配顺序、关键属性等多个维度进行呈现。

3、可以通过表结构将了解到每个字段的含义、使用说明、计算口径等业务属性。通过分区概览、建表语句、样例数据了解到表分区、字段类型、主键约束等技术属性。

对于数据开发人员

1、可以收藏资产信息或者申请数据读写权限,通过数据工厂进行数据开发。

2、支持在线 API 调用测试,在使用分析中,则展示了服务调用统计信息,如调用趋势、接口延迟、异常记录等。

3、通过血缘关系探查其上下游依赖情况,清晰分辨出下游影响链路。

对于数据管理人员

1、可以直接编辑资产详情信息,也可以根据组合条件筛选结果,导出为 Excel 格式,进行挂载主题、打业务标签或批量编辑操作。

2、可以灵活的创建和管理目录层级结构、挂载资产,在资产分析中,从数据存储、业务主题、数据质量等多个视角进行全域资产分析。

用户头像

数造万象

关注

还未添加个人签名 2022-02-22 加入

还未添加个人简介

评论

发布
暂无评论
建立数据地图,让数据资产“活”起来_数造万象_InfoQ写作社区