写点什么

数据中台坠落神坛,数据服务平台闪亮登场,阿里、快手又整烂活?

作者:雨果
  • 2022-10-20
    北京
  • 本文字数:2313 字

    阅读完需:约 1 分钟

数据中台坠落神坛,数据服务平台闪亮登场,阿里、快手又整烂活?

2014 年,马云从芬兰游戏公司 Supercell 接触到中台概念后,在阿里内部积极践行,开创了“大中台、小前台”的组织机制和业务机制。

  • 2015 年阿里启动中台战略,同年数据中台概念开始深入互联网公司

  • 2016 年数据中台概念大火

  • 2018 年因为“腾讯数据中台论”其再度成为了人们谈论的焦点

  • 2020 年,阿里却提出要拆中台。

数据中台,仿佛一夜之间坠落神坛。

阿里推出数智服务新品牌瓴羊

峰回路转,2022 年阿里又提出 DaaS 的概念,数智服务平台闪亮登场。

环顾大厂也都纷纷推出数据即服务产品,比如:快手的大数据服务化基础平台、麦聪的 DaaS 平台等等。

01

数据中台是个失败产品(概念)?

国内所有的数据中台厂商面对客户或者投资人时,总会从马云或者阿里的故事开始讲起,给大家介绍什么是数据中台。

故事很美好,可这么多年过去了,数据中台还是一个仅仅停留在国内的概念,国外没有翻译数据中台这个词的。

不是因为大家不愿意认可这个词,而是确实没有产品能和这个匹配。其实现在谈的多的还是数据库,数据仓库,数据湖,另外 ETL,元数据管理,数据目录,SQL 工具等。

我们的的数据中台太大了,大得只要是数据的功能全有(当然还有些方法论),大而不精是和产品理念相反的,所以推了这么多年也没有成就一个业内标杆产品。

某数据中台产品架构

但是数据中台的核心概念:One Service,统一数据服务却是在全球都普遍认可的,Snowflake 同样讲数据服务化这个概念,Data as a Service,就是数据 SaaS,把数据的使用都变成标准的服务。

阿里 16 年提出所有的数据只加工一次的理念

数据服务平台更像是回归初心的数据中台 2.0,或者说数据中台核心概念的升级且成熟的产品。

02

数据服务平台解决什么问题?

步入数字化时代,不光字节、快手这样的典型数据驱动的互联网公司,全球企业都在进行数字化转型,转型的方式多种多样,但核心目的都是利用数据帮助企业实现精细化运营和新增长。

企业利用数据很重要的一点就是靠数据开发工程师根据业务需求开发好高质量的数据,继而开发稳定可靠的数据服务交付给业务方使用。

知乎提问:很多学生想转向大数据开发工程师

这种方式存在两大痛点,也是数据服务平台主要解决的问题:

(一)数据服务开发难,需要考虑很多因素:

数据如何交付:业务通常期望使用数据接口方式来使用数据,而非数据表,这会更加灵活、解耦、高效。数据开发工程师因此需要建立对应的数据服务。

服务如何开发:数据服务有多种形式,通常要求开发工程师有微服务知识、服务发现注册、高并发等。

权限、可用性问题:开发完数据服务后,需要考虑权限问题,确保数据资源能被安全的访问;此外还需要考虑可用性问题,要以多种手段保障数据访问的稳定性。

运维问题:数据服务本身涉及多种运维问题,如扩容、迁移、下线、接口变更、服务报警等。

数据服务开发并不只是简单取数

以上问题都需要数据开发工程师去解决,这就要求数据开发不仅仅是开发出数据表,还需要将数据表包装成一个独立的、灵活的、高可用的、安全的数据服务。

所以数据开发工程师除了具备基本的业务需求捕获、数据建模、SQL 开发等能力外,还要具备开发高可用、高性能的数据服务能力(包括 java 开发、微服务等)。

由此可见:数据服务开发本来就很难,高水平的数据开发工程师也十分难得,而且数据开发大部分的时间都被临时取数的需求占据,根本无法专注在数仓模型、数据集市构建或运维。

(二)数据服务重复开发:

一般公司有很多业务线(如支付业务、直播业务、账户业务等),都存在数据需求,各业务线都做着:1)数据同步到线上数据库和缓存;2)建设微服务等开发。

传统模式重复开发数据服务

其中不同业务线下,数据同步和微服务通常有很多共同之处,重复烟囱式的开发意味要重复开发数据服务,造成了人力资源浪费,而且开发效率低,从数据开发到最终交付数据服务,需要经历较长的周期。

03

数据服务平台介绍

数据服务平台的核心就是简化数据的生产加工,提高数据服务的效率,避免重复开发。

解决数据服务开发难问题

用户可以通过平台来创建、修改数据服务接口(数据 API),数据开发工程师甚至不再需要手写数据服务,只需要在平台上进行简单配置就能创建数据 API,从而提升效率。(当然也有写代码的形式可供技术人员进行选择。)

创建好的数据 API 存放于数据市场,有权限的业务方直接取用。

此外:数据服务平台的产品还能提供数据治理体系的一系列功能。

数据治理相关功能

(一)数据服务开发:

  1. API 开发:开发人员通过配置或代码的方式快速生成数据服务 API;配置模式主要由选择框选取所需数据库表以及输入输出参数字段,代码模式主要由 SQL 编写更复杂的数据访问需求。

  2. SQL 工具:开发人员用 SQL 编写更复杂的数据访问需求。

(二)数据服务共享:

  1. 数据超市:开发人员已经开发的 API 可以放在数据超市,供业务人员申请使用。以消费者角度出发,更人性化的让业务人员对于 API 接口随时消费,随时调用。

  2. 高级搜索:系统提供类 Google 方式的检索,对企业数据进行模糊查找,快速定位用户所需数据。即方便用户通过自己对业务的理解来查看相关数据。

(三)数据服务管理:

  1. 数据目录:跨异构平台集成数据、企业数字资产一目了然。(按照公司业务、部门或者其他标签方式将企业数据以目录形式展现出来)

  2. 数据质量:自定义质量评估标准,自动诊断企业数据质量。

(四)系统管理监控:

  1. 统一权限管理:DaaS 平台上所有的用户都对应不同的角色和与之对应的权限,由管理员进行管理;相应的 API 都需要进行申请方可使用。


码字不易,大家记得点赞收藏~

麦聪软件,全球领先的 DaaS 厂商。世界 500 强集团中已有 30 多家选用,两年内帮助近 400 家企业数字化转型更进一步。核心产品麦聪 DaaS 平台包含统一数据管理和统一数据服务两大模块,具备数据集成、数据开发、数据质量、数据服务相关功能,欢迎大家带着企业数字化问题与我们一起讨论。

用户头像

雨果

关注

全球领先的DaaS厂商,构建下一代数据中台 2020-06-29 加入

500强集团中已有30多家选用;支持元数据管理,数据治理,数据开发,数据服务化,数据市场等功能; 免费下载试用官网地址:http://www.maicongs.com/#/home/probation

评论

发布
暂无评论
数据中台坠落神坛,数据服务平台闪亮登场,阿里、快手又整烂活?_数据中台_雨果_InfoQ写作社区