数据资产管理平台规划概要

想要将企业的数据资源，转变为有价值的数据资产，中间必不可少的是一个数据治理的过程，数据治理是一个动态的过程规划，数据资产是数据治理的结果，意味着数据应用成熟度的提升。这是数据治理和数据资产的关系。

要规划和设计数据资产管理平台，就需要先理解清楚数据管理和数据资产的概念，《DAMA数据管理知识体系指南》中总结了数据管理的十项职能：





我在之前介绍数据资产概念的文章中，也总结了数据资产化的三个特征：

• 集中管理

• 有序流动

• 成本和收益的量化评估

我认为数据资产管理平台，就是让数据从资源转变为资产的落地工具保障，需要承载数据治理及管理的各类角色和流程。因此，它面向的用户不仅仅是企业数据管理者（大数据负责人、数仓及数据集市负责人），还会包含数据开发者和数据消费者，它的目标就是让数据资源得到全局的盘点，并在有序地流动中最大化地发挥价值。

数据资产管理会涵盖数据采集到数据应用的整体链路，也需要包含数据治理的几个方面（数据质量、数据安全、数据时效保障、数据生命周期、数据规范和成本收益等），这也就决定了数据资产管理平台不会只是单一的一条独立产品线，而是一个贯穿数据应用全流程的产品矩阵，会包含数据资产目录、数据资产地图、数据血缘、数据指标管理平台、数据服务平台等多个产品线。

整体来看，数据资产管理平台的架构逻辑如下：





围绕着前面总结的数据资产化的三个特征，平台的规划也主要包括三个层面的内容：

全域数据资产建设：进行全域数据的采集与引入，形成更透明更完整的数据资产全景。首先将企业内部各业务条线、各终端的数据，进行集中盘点，形成资产目录，数据信息透明共享，并通过实体对齐、统一ID的方式，将不同来源的数据进行统一识别，建立全域用户档案，形成统一宽表层，便于集中查找和分析，构建好资数据资产的基础层，实现集中管理。

全生命周期管理：对数据开发的全过程进行管理和追溯，建立完整的数据血缘关系，能追溯到上下来源和下游应用出口。同时，为了提高质量和规范性，需要在开发前期的建模阶段，就从命名、任务管理、任务监控等方面进行规范，如果是应用层的开发需要同时绑定数据的应用系统，以便将数据治理的工作进行前置，提高数据开发的规范化要求，加强质量保障。针对活跃度低的数据、长时间未访问的数据，进行相应的提示和预警，及时清理，以释放存储和计算资源。通过对数据开发与应用的全生命周期管理，确保数据在流动过程中更加清晰、有序，同时进行成本优化。

全局数据应用服务：在应对复杂多样的场景化需求前，需要有应用层的统一服务流程和资产运营工具，比如通过数据指标平台、数据标签平台、数据可视化平台、数据API平台等工具，解决数据结果层的横向流动问题，避免因场景多样性和流程不清晰，带来数据口径不一致、重复开发和数据质量等问题。通过统一服务的方式，识别到每一份数据的下游依赖和应用出口，数据的价值也可以更容易量化。

针对关键特征和关键步骤的具体实施方案

第一步，通过数据资源的集中盘点，实现数据资产的集中管理。

数据资产管理的第一步，是将数据资源进行集中盘点，能够清晰掌握企业资产全貌，消除信息孤岛。从数据源的类型、来源、属性标签等维度对数据进行详细刻画，并通过图谱关系、血缘关系清晰展现数据资源链路，并配合相应的管控工具，实现数据资产的集中盘点，建立资产目录。





这个过程，类似元数据管理系统，元数据作为描述数据的数据，在发展和完善的过程中，需要承载数据资产目录的角色，并在最关键的元数据属性信息中，除了常规的技术元数据、业务元数据，还需要增加管理元数据，比如数据授权信息、数据调用和扫描情况、僵冷数据占比、未压缩数据占比等信息，来为数据安全和管理提供依据。后面可以单独介绍元数据管理系统的建设思路。

第二步：统一数据服务，加强数据的有序流动。

建设数据资产管理平台，不能只是单纯的进行治理和管控，如何帮助消费者，更好得获取和使用数据，也是管理平台的重要作用，否则，只考虑治理和管控，容易导致“用、管隔离”，降低数据应用效率，变成费力不讨好地事情，也就很难持续推进了。

所以，数据资产管理平台，既要“重治理”，也要“强服务”。

下图概括了统一公共数据服务的产品核心逻辑。





从流程上看，统一数据服务主要包括三个过程：基础数据业务化、业务数据标准化、标准数据服务化。做过数据分析或数据开发的同学都知道，80%的工作花在了数据调研和数据清洗方面，找数据、对口径、做清洗，而同一个数据，如果经过不同的人从底到上这样做一遍，结果往往是对不上的，这就需要有一个公共的数据层，对基础数据、业务数据进行标准化、服务化的处理，让数据资产治理和运营的工作结合到数据应用过程中去，以达到最终的目标：数据来源可追溯、数据质量可保障、数据价值可量化。

第三步：数据成本和收益的追溯

数据的作用大家已经熟知，把它比喻为金矿、石油也比较贴切，除了价值高，其实采矿、炼油的过程成本也很高，随着数据体量的增长，如果不对成本收益进行量化，很容易陷入指数化增长的“成本泥潭”。

需要分别从成本和价值两个层面对数据资产进行评估，参考下图。





有了度量的基础指标，除了对每一个数据任务进行评估，还可以按照集市、业务线、部门、个人开发者等维度汇总，对整体的数据资产健康情况进行评估和量化，并推动改善。形成从资产分、治理项、治理策略到治理效果反馈的完整的数据治理工作台。

整体来看，数据资产管理，除了平台工具之外，还需要配合相应的组织、流程、机制才能将数据资产化运营做好。这里先从产品的角度，探讨数据资产管理平台的架构逻辑和建设思路，由于数据资产涵盖数据管控、服务与治理的多个方面，相应也会包含多个维度的产品矩阵，在大的逻辑下，可以根据企业实际情况进行详细条线的规划。



后面的文章中，也会适当做一些重点产品线的展开介绍，欢迎大家关注公众号持续交流：数据产品之家。

关于开头提到的数据管理的材料，《DAMA 数据管理知识体系指南》，公众号后台回复 “数据管理”，即可获取。