知乎高赞:数据中台——风起阿里,成于 DaaS
阿里牵羊:下一代数据中台走向 DaaS
数据中台编年史:
2014 年,马云从芬兰 Supercell 公司接触到中台概念后,在阿里内部开创了“大中台、小前台”的组织机制和业务机制,通过高效、统一的后方系统来支撑快速变化的前端业务,提高业务产出效率,减少成本投入。
2015 年,阿里启动中台战略,同年数据中台概念开始深入互联网公司。
2016 年,数据中台概念国内大火。
2018 年,因为“腾讯数据中台论”,数据中台再度成为了人们谈论的焦点。
但在 2020 年,阿里又提出要拆中台,中台彷佛一夜之间坠落神坛。
2022 年,阿里又提出“下一代数据中台——DaaS 平台”。
故事未完待续
什么是数据中台?
数据中台不是大数据平台!首先它不是一个平台,也不是一个系统。
如果有厂商说他们有个数据中台(Hadoop 开源版+PostgreSQL 系列 MPP+开源拼凑一体化开发和管理平台)卖给你,对不起,它是个骗子。
要回答数据中台是什么,首先要探讨一下中台到底是什么。
虽然没有明确的定义,但是从字面的理解上和技术基础的分类,我们可以先把中台看作是一种中间层。既然是一种中间层,那么中台确实是一种十足技术用语,从内容理解上应该是中间件,而不是数据库或大数据平台类的数据存储和处理产品。
以下借助 Gartner 的架构层来理解为什么要有中间层,这样可以更好地理解中台的定位和价值。
如图是按照事物变化的速度来分层,这样可以逐层分析并设计合理的边界与服务。
在数据开发中,核心数据结构的变化是相对缓慢的,但它对数据业务的影响却非常大,是业务应用的基础单元;但业务创新的速度、对数据提出的需求的变化,是非常快速的。
所以:数据中台的出现,就是为了弥补数据开发和应用开发之间,由于开发速度不匹配,出现的响应速度跟不上的问题。
简单的理解就是应用开发和数据开发之间可以解耦,应用只关心自己的业务,不用关心数据在数据地方,如何存储,如何访问等,这样让应用和数据各自做好各自己的工作,以标准的服务完成双方的互信和访问。
数据中台主要解决三类问题:
开发效率低下:
为什么开发一个数据查询需要很长的时间?
因为开发人员除了要理解业务相关的需求,还需要理解底层的数据模型,思考如何开发,如何调用等问题;或者需要另找相关的数据开发人员来帮忙开发完成自己需要的数据接口。
无论是自己做还是找人来做,中间的理解成本和沟通成本都会严重影响数据业务上线的效率和质量。
重复造轮子:
当一个新的业务应用开发的时候,虽然和别的项目需求大致差不多,但因为是别的项目组维护的,所以数据还是要自己再开发一遍,也就是会重复造轮子,从开发、测试、上线的工作又要重复做一次,最终的结果也取决于开发的人员是什么样的水平和责任心。
专业的人做专业的事:
数据的处理和维护是一个相对专业的技术,需要相当专业的人来完成。
但是很多时候,我们有一大把的应用开发人员,而数据开发人员很少,项目都是需要做什么就直接抽人来做,不管这个人是不是真的专业能做这个,而是把人员当全才使用。
这三类问题都会导致应用开发团队速度变慢,效率低下。而这就是中台解决的关键问题——让前台开发团队的开发速度不受后台数据开发的影响。
Thoughtworks 专家认为,“数据中台是聚合和治理跨域数据,将数据抽象封装成服务,提供给前台以业务价值的逻辑概念”。
如下图所示:
数据中台理念图
Data API 是数据中台的核心,Data API 本质上就是 DaaS 的基础。
Data API 是连接前台和后台的桥梁,通过 API 的方式提供数据服务,而不是直接把数据库给前台、让前台开发自行使用数据。
至于产生 Data API 的过程,怎样让 Data API 产生得更快,怎样让 Data API 更加清晰,怎样让 Data API 的数据质量更好,这些是要围绕数据中台去构建的能力。
为什么从“数据中台”转向“DaaS”
传统数据中台提的大部分功能比如数据存储和数据标准(简单理解),这么多年很多企业早就已经完成或是已有一定基础,提升的空间有,但做的难度更大。
对于没有做过这块的企业,已经有很多成熟的方案或产品可以直接拿过来就使用,也是相对比较容易完成的。
让数据动起来
但 DaaS 的概念,无论是现在国内数据中台的延伸还是美国 Snowflake 的理念,麦聪软件等公司开始往前推进,时间上也不过最近十年间的事,所以这块对于企业来说有几个点比较容易获得大的价值:
a. DaaS(数据即服务)从 0 到 1,比较容易产生新的价值点
b. DaaS(数据即服务)本身是面向应用或者业务用户的,更容易受企业的认可
c. DaaS(数据即服务)通过配置或 SQL 的方式其实就是无代码的方式生成 Data API,更容易让企业获得成功
DaaS 理念图
DaaS 本质上是架构在企业已有大数据平台(数据湖)或数据仓库基础上,帮助企业快速构建数据服务化的中间件,更符合下一代数据中台的理解。
DaaS(数据即服务)会成为企业下一代数据中台的方向和目标,因为只有让业务把数据用起来了,才能反向推动数据治理和数据标准类似的工作,而数据治理的推进也会让数据服务化更好,让业务更好的使用数据,这其实也是企业数字化转型的方向和重要目标:让数据用起来。
文章来源:麦聪小馒头;曾任多家全球顶尖外企和国内上市公司高管,十多年 IT 行业从业经验,现麦聪软件联合创始人和核心研发,技术和研发的推崇者。
评论