被动元数据的不足和主动元数据的先进性
在元数据管理领域,被动元数据管理主要执行的是一种基础且相对直接的任务,即简单地对元数据进行编目或存储。这一过程通常不涉及复杂的逻辑处理或动态分析,而是侧重于数据的静态描述和记录,如数据类型、结构、位置、创建时间等。
这种管理技术的一个显著特点是高度依赖于人力,特别是元数据的整理、验证、分类和更新等工作,往往需要数据管理员或分析师的介入。
而由于被动元数据管理侧重于数据的静态特性,便无法及时反映数据的变化或数据之间的复杂关系。在数据密集型企业中,数据不断产生、存储、流转、开发、消费,被动元数据管理往往难以捕捉到这些动态变化,从而限制了在数据治理、数据分析和决策支持等方面的应用。
因此,企业需要更加先进和动态的元数据管理技术,以更好地满足数据治理和数据分析的需求。
从“被动”转向“主动”,主要标志是 2021 年 Gartner 取消了发布多年的元数据管理魔力象限,取而代之的是主动元数据市场指南。Gartner 给出明确定义:主动元数据管理是对所有可用的用户、数据管理、系统/基础设施和数据治理实践过程的持续分析,以确定数据设计与实际情况是否对齐或出现异常情况。
作为国内 Data Fabric 架构理念的实践者与引领者,Aloudata 大应科技认为,主动元数据是一种动态、持续、智能的元数据管理技术,通过主动采集、实时在线、主动触发机制,替代传统被动元数据管理技术的人工登记、静态等待、人工触发模式,推动数据管理全流程各环节(如数据探查、应用开发、测试验证、部署实施、运维管理、监控分析等)的高效运转,为数据治理、数据分析、业务决策提供智能化技术支持。
相较于传统的被动元数据管理技术,主动元数据管理技术有以下几个显著优势:
一、全面。传统被动元数据管理,主要聚焦于表、列等基础数据及数仓内任务的监管。主动元数据管理覆盖更广泛的元数据范畴,包括库、表、列、脚本、模型、指标、报表以及数据使用行为等与一切与数据相关的所有元数据信息。
二、精准。主动元数据管理能够通过自动化实时采集、动态更新,结合多样化的 SQL 和 PLSQL 语言解析,自动构建全面、准确、实时、精细的算子级血缘图谱,实现解析精准度大幅提升,清晰反应数据之间的依赖关系和流转路径。
三、智能。能够实时监控数据变更,结合外部数据质量问题元数据,为全链路保障,提供智能化建议。比如,通过实时监测调度运行延迟情况,智能评估对整个基线链路的潜在影响,进而为各个场景提供智能化建议,以保障业务稳定运行。
Aloudata 基于自主研发的算子级血缘解析技术,打造了全球首个算子级血缘主动元数据平台——Aloudata BIG,能够帮助企业自动构建准确、精细、全面、实时的数据血缘图谱,支持复杂 SQL 代码的自动解析,独创行级裁剪能力,并通过提供反向元数据的各类 API 与企业 DataOps 平台集成,让 DataOps 实现场景化、自动化、智能化,帮助企业构建更加智能的数据治理能力,以更低成本显著提升事前防控、事中监控、事后应急、链路梳理等全链路数据保障的效率与效果。
目前,在高度复杂的数据管理环境中,Aloudata BIG 已帮助招商银行将现有血缘图谱升级为算子级血缘图谱,实现 99% 的血缘解析准确率,更实现了元数据应用智能化、链路保障自动化和架构治理长效化,推动数仓快速实现资产数量下降 40%、平均链路缩短 50%。如您对主动元数据感兴趣,欢迎访问 Aloudata 官网,了解更多。
评论