从数据仓库到数据中台再到数据飞轮:金融行业的数据技术进化史
前言
大家好,我是一名大数据开发工程师,在金融行业深耕多年,其实数据技术的演进不仅是技术层面的革新,更是业务模式与决策方式的深刻变革。从最开始的数据仓库兴起,到数据中台的普及,再到数据飞轮的出现,每一步都见证了金融行业对数据价值认知的深化和利用能力的提升。下面我将以我所了解到的知识来讲一讲金融行业的数据技术进化史。
数据仓库:奠定数据基础
数据仓库这个概念,其实是由数据仓库之父 Bill Inmon 在 1991 年出版的“Building the Data Warehouse"定义且被广泛接受的——面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。从定义上来看,数据仓库的关键词为面向主题、集成、稳定、反映历史变化、支持管理决策,而这些关键词的实现就体现在分层架构内。
分层架构怎么分层呢?市面上主流的分层方式太多了,其实从核心思想上分可以分为 ODM 贴源层、SDMQ 标准层、FDM 主题层、ADM 应用层,如下图所示:
在数据仓库阶段,金融行业主要依赖于 IBM、Oracle、Teradata 等厂商提供的整体解决方案。然而,随着数据量的进一步爆炸和业务需求的多样化,数据仓库逐渐显露出其局限性。它虽然能够存储和管理大量数据,但在数据处理的实时性、灵活性和效率方面难以满足日益增长的需求。
数据中台:数据价值的深度挖掘
正是在这样的背景下,数据中台应运而生。前面提到数据仓库的核心是分层架构,那么数据中台的核心就是四化,即业务数据化、数据资产化、资产服务化和服务业务化。因为数据量的进一步爆炸和业务需求的多样化,所以出现了数据中台,数据中台是如何解决这一现象呢?
下面这张图是数据中台的逻辑架构图,可以看到数据中台其实是将数据服务化之后提供给业务系统,目标是将数据能力渗透到各个业务环节,不限于决策分析类场景。这种架构可以加快数据赋能业务的速度,为业务提供速度更快、更多样的数据服务。
金融行业其实已经步入了智能化的金融科技 3.0 时代,我认为智慧中台是智慧金融的新基础设施,金融行业想要实现四化的核心可以先理清金融机构自身的数据资产,梳理好机构内的数据资产后需要对数据的标准、口径等进行统一,最后再向相关部门提供数据服务。
数据飞轮:构建数据消费的正循环
什么是数据飞轮呢?数据飞轮是今年大模型带火的一个词汇,核心其实就是通过客户在应用程序中输入的提示词这样的数据反馈,使大模型快速迭代。通俗一点就是,好的产品
虽然现在数据飞轮很火,但是想要在金融行业落地还是有很多挑战的,比如金融行业科技技术人才占比较少,难以支撑数据飞轮落地以及后续的迭代、更新;难以将数据形成资产纳入报表或财务体系,因为无法预估数据的价值形成整套的定价,也缺乏相应的质量管控体系等。
总结
从数据仓库到数据中台再到数据飞轮,金融行业的数据技术演进历程不仅见证了数据价值的不断挖掘和利用,也推动了业务模式的深刻变革和创新发展。在未来的发展中,我相信数据飞轮肯定能完美的在金融行业实现落地,助力企业业务持续增长和自我增强的循环。
评论