数据中台:始于阿里,兴于 DaaS
2014 年,马云从芬兰一家游戏公司 Supercell 接触到中台概念后,在阿里内部积极践行,开创了“大中台、小前台”的组织机制和业务机制。
阿里数据中台的理念是通过高效、统一的后方系统来支撑快速变化的前端业务,提高业务产出效率,减少成本投入。
2015 年阿里启动中台战略,同年数据中台概念开始深入互联网公司
2016 年数据中台概念大火
2018 年因为“腾讯数据中台论”再度成为了人们谈论的焦点
2020 年,阿里却提出要拆中台。
数据中台,仿佛一夜之间坠落神坛。
峰回路转,2022 年阿里又提出 DaaS,让数据中台的故事继续中... ...
01
什么是数据中台?
回答什么是数据中台之前,我们先说说什么不是数据中台。
数据中台不是大数据平台!因为它首先就不是一个平台,也不是一个系统,如果有厂商说他们有个数据中台(Hadoop 开源版+PostgreSQL 系列 MPP+开源拼凑一体化开发和管理平台),马上打 110 报警,因为它是个骗子。
接着,我们来探讨一下中台到底是什么?
虽然没有明确的定义,但是从字面的理解上和技术基础的分类,我们可以先把中台看作是一种中间层。
既然是一种中间层,那么中台确实是一种十足技术用语,从内容理解上应该是中间件,而不是数据库或大数据平台类的数据存储和处理产品。
借助 Gartner 的架构层来理解为什么要有中间层,这样可以更好地理解中台的定位和价值。以下是按照事物变化的速度来分层,这样可以逐层分析并设计合理的边界与服务。
图:Gartner 解释为什么要有中间层
在数据开发中,核心数据结构的变化是相对缓慢的,但它对数据业务的影响却非常大,是业务应用的基础单元;但业务创新的速度、对数据提出的需求变化是非常快速的。
02
数据中台解决什么问题?
数据中台的出现,就是为了弥补数据开发和应用开发之间,由于开发速度不匹配,出现的响应速度跟不上的问题。
简单的理解就是应用开发和数据开发之间可以解耦,应用只关心自己的业务,不用关心数据在数据地方,如何存储,如何访问等。数据中台的出现,让应用和数据各司其职,以标准的服务完成双方的互信和访问。
数据中台主要解决的问题可以总结为以下三点:
1. 开发效率低下:一般情况下,应用开发人员开发一个数据查询需要很长的时间。因为除了要他们除了要理解业务相关需求,同时还需要理解底层的数据模型是什么样的、如何开发、如何调用等问题。
或者需要另找相关的数据开发人员来帮自己开发所需要的数据接口。无论是自己做还是找人来做,中间的理解成本和沟通成本都会严重影响数据业务上线的效率和质量。
2. 重复造轮子:当一个新的业务应用开发的时候,虽然和别的项目需求大致差不多,但因为是别的项目组维护的,所以数据还是要自己再开发一遍,也就需要重复造轮子,即从开发、测试、上线的工作又要重复做一次,最终的结果也取决于开发人员是什么水平和责任心。
3. 专业的人做专业的事:数据的处理和维护是一个相对专业的技术,需要相当专业的人来完成,但是很多时候的情况是,很多应用开发人员对少量数据开发人员,项目需要做什么就按直接抽人来做,不管这个人是不是专业的。
以上这三类问题都会导致应用开发团队效率下降。这就是数据中台的关键——让前台开发团队的开发速度不受后台数据开发的影响。
Thoughtworks 专家认为,数据中台是聚合和治理跨域数据,将数据抽象封装成服务,提供给前台以业务价值的逻辑概念。具体如下图所示:
图:Thoughtworks 的数据中台概念
Data API 是数据中台的核心,它是连接前台和后台的桥梁,通过 API 的方式提供数据服务,而不是直接把数据库给前台,让前台开发自行使用数据。
至于产生 Data API 的过程,怎么样让 Data API 产生得更快,怎么样让 Data API 更加清晰,怎么样让 Data API 的数据质量更好,这些是要围绕数据中台去构建的能力。Data API 本质上就是 DaaS 的基础。
也正是看到了 Data API 的价值,全球领先的麦聪 DaaS 平台,在 Data API 创建、发布和全生命周期的管理都让客户拥有极致的体验。
图:麦聪 DaaS 平台产品架构图:Data API 是 DaaS 的基础
不管是数据开发人员还是业务人员,多可以在几分钟内创建一个 Data API,继而进行发布、分享、调用等系列操作。并且,麦聪 DaaS 平台的数据探查功能,确保 Data API 的数据质量。
03
为什么说数据中台兴于 DaaS?
虽然阿里提出数据中台的概念没能被市场完整地被接受,但是中台里的一个理念却被广泛认可,即 One Service(统一数据服务)。
统一数据服务的中心思想是,数据部集中设计和开发 API 服务,让数据的使用只复用不复制,提供给数据使用者真实访问和接入需求的数据服务,目的是为企业提供一个统一的数据接入和数据查询服务。
而这一理念也到了国内外 DaaS(数据即服务)公司的一致认可,尤其得到 Snowflake、中国的麦聪软件这类 DaaS 公司的持续推进和发展。
众所周知,DaaS 并非一个全新的概念,在中国已有近十年的发展。从本质上看,DaaS 架构在企业已有大数据平台(数据湖)或数据仓库基础上,能够帮助企业快速构建数据服务化的中间件,更符合市场对下一代数据中台的理解。
因此,DaaS 已经被很多行业人士寄予厚望,成为企业下一代数据中台的方向和目标。甚至,2022 年年中,阿里重整原来数据中台等技术团队也提出 DaaS 概念,这无疑让 DaaS 成为下一代数据中台的趋势更加笃定。
目前来看,DaaS 能够给企业带来哪些价值:
DaaS 从 0 到 1,比较容易产生新的价值点
DaaS 本身是面向应用或者业务用户的,更容易受企业的认可
DaaS 通过配置或 SQL 的方式其实就是无代码的方式生成 Data API,更容易让企业获得成功
图:麦聪 DaaS 平台帮助企业快速构建下一代数据中台
企业只有把数据用起来了,才能反向推动数据治理和数据标准类似的工作,而数据治理的推进也会让数据服务化更好,让业务更好的使用数据,这其实也是企业数字化转型的方向和重要目标:让数据用起来。
评论