《华为数据之道》读书笔记:第 3 章 差异化的企业数据分类管理框架
1 以统一语言为核心的结构化数据管理
1.1 基础数据治理
基础数据用于对其他数据进行分类,在业界也称作参考数据。
基础数据的管理重点在于变更管理和统一标准管控。
华为建立了一个完整的基础数据管理框架,通过明确各方的管理责任、发布相关的流程和规范以及建立基础数据管理平台等来确保基础数据的有效管理。
1.2 主数据治理
主数据是参与业务事件的主体或资源,是具有高业务价值的、跨流程和跨系统重复使用的数据。
主数据与基础数据有一定的相似性,都是在业务事件发生之前预先定义;但又与基础数据不同,主数据的取值不受限于预先定义的数据范围,而且主数据的记录的增加和减少一般不会影响流程和 IT 系统的变化。
主数据最重要的管理要求是确保同源多用和重点进行数据内容的校验。
华为的主数据范围包括客户、产品、供应商、组织、人员主题,每个主数据都有相应的架构、流程及管控组织来负责管理。
1.3 事务数据治理
事务数据在业务和流程中产生,是业务事件的记录,其本身就是业务运作的一部分。事务数据是具有较强时效性的一次性业务事件,通常在事件结束后不再更新。
事务数据的治理重点就是管理好事务数据对主数据和基础数据的调用,以及事务数据之间的关联关系,确保上下游信息传递顺畅。
1.4 报告数据治理
报告数据是指对数据进行处理加工后,用作业务决策依据的数据。它用于支持报告和报表的生成。
1.5 观测数据治理
观测数据是通过观测工具获取的数据,观测对象一般为人、事、物、环境。
原则上,观测对象要定义成业务对象进行管理,这是观测数据管理的前提条件。
1.6 规则数据治理
规则数据是结构化描述业务规则变量(一般为决策表、关联关系表、评分卡等形式)的数据,是实现业务规则的核心数据,如业务中普遍存在的基线数据。
2 以特征提取为核心的非结构化数据管理
非结构化数据的治理核心是对其基本特性与内容进行提取,并通过元数据落地来开展的。
非结构化数据的元数据可以分为基本特征类(客观)和内容增强类(主观)两类。
1)基本特征类:参考都柏林十五个核心元数据,实现对非结构化数据对象的规范化定义,如标题、格式、来源等。
2)内容增强类:基于非结构化数据内容的上下文语境,解析目标文件对象的数据内容,加深对目标对象的客观理解,如标签、相似性检索、相似性连接等。
非结构化数据的元数据管理采用统分统管的原则,即基本特征类属性由公司进行统一管理,内容增强类属性由相关承担数据分析工作的项目组自行设计,但其分析结果都应由公司元数据管理平台自动采集后进行统一存储。
3 以确保合规遵从为核心的外部数据管理
外部数据的治理主要遵循以下原则:
1)合规优先原则
2)责任明确原则
3)有效流动原则
4)可审计、可追溯原则
5)受控审批原则
4 作用于数据价值流的元数据管理
华为在进行元数据治理以前,遇到的元数据问题主要表现为数据找不到、读不懂、不可信,数据分析师们往往会陷入数据沼泽中...,其根本原因就在于业务元数据与技术元数据未打通,导致业务读不懂 IT 系统中的数据。
为解决以上痛点,华为建立了公司级的元数据管理机制。制定了统一的元数据管理方法、机制和平台,拉通业务语言和机器语言。确保数据“入湖有依据,出湖可检索”成为华为元数据管理的使命与目标。
基于高质量的元数据,通过数据地图就能在企业内部实现方便的数据搜索。
元数据通常分为业务、技术和操作三类:
业务元数据 用户访问数据时了解业务含义的途径,包括资产目录、Owner、数据密级等。
技术元数据 实施人员开发系统时使用的数据,包括物理模型的表与字段、ETL 规则、集成关系等。
操作元数据 数据处理日志及运营情况数据,包括调度频度、访问记录等。
评论