写点什么

Data Mesh,数据网格的道与术

用户头像
王知无
关注
发布于: 1 小时前

周末的时候,看到有群友讨论关于 Data Mesh 的话题。这个名词我在 2020 年初的时候听到过一次,当时感觉就是一个概念,看的糊里糊涂,没有当回事。最近突然又被推上了话题风口,所以静下心来看了一下相关的论文和介绍。

在讨论 Data Mesh 之前,首先要给大家介绍一下 Service Mesh。

Service Mesh 公认的定义,是用以处理服务与服务之间通信的专用基础设施层。更本质的理解,它是服务治理平台,是业务逻辑解耦的必然产物,是数字经济背景下企业对研发效能提升的选择。

服务端架构从单体模块化架构,到 SOA(面向服务架构),到经典微服务架构(服务间采用 RPC 通信),到最新的 Service Mesh,是一个不断强调解耦和复用的演进历程:

  • 单体模块化架构强调业务逻辑按模块划分

  • SOA 强调业务逻辑在应用粒度的复用(水平拆分)

  • 经典微服务架构强调业务逻辑在应用粒度的解耦(垂直拆分)

  • Service Mesh 则强调业务逻辑与服务治理逻辑的分层及解耦

好了,Data Mesh 借鉴了微服务和 Service Mesh 的分布式架构思想,可以认为他是一种基于领域驱动和自服务的数据架构设计模式。

通常我们认为大数据平台的演变过程分为三个阶段:

  • 第一阶段,基于企业级数据仓库的 BI 能力;

  • 第二阶段,以数据湖为代表的大数据生态系统;

  • 第三阶段,基于云的数据平台,亦为当前主流的混合实践模式,包含实时数据流处理架构、整合批量与流处理的框架、以及结合云端存储、流水线、以及机器学习能力。

当然上面这些方案都有一定的局限性。举个例子:极高的开发和运营成本。或者换句话说,一堆数据平台开发人员搞出来的东西产生不了很大的商业价值,ROI 太低了。

按照 Data Mesh 的创始人的介绍说,Data Mesh 实际上是一组数据平台架构原则,融合了分布式领域驱动的架构(Distributed Domain Driven Architecture)、自助平台设计(Self-serve Platform Design)以及将数据视为产品(Thinking Data as a Product)的思维。

不好意思,个人水平有限。我看不懂上面的话要表达什么。

有兴趣的可以看看 ThoughtWorks 首席技术顾问 Zhamak Dehghani 发表在 MartinFowler 官网上的两篇文章《How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh》和《Data Mesh Principles and Logical Architecture》。

好了,至此我们听到过的数据架构至少包含了:数据平/中台、湖仓一体、Data Mesh。我只能说,大佬们太会玩了。

另外根据 ThoughtWorks 的分享,Data Mesh 应该包含下面几个部分:



  • 具有领域特征的数据或 ML 产品;

  • 自服务的数据基础设施;

  • 具有产品思维特性的管理方式和角色;

  • 基于持续集成的交付基础设施。

那么 Data Mesh 的落地方式和交付标准怎么衡量呢?

我看了半天文章也不明所以,但是有几点可以肯定的是:

  1. Data Mesh 的受众应该是包含业务团队的,不是数据团队的专属;

  2. Data Mesh 应该是服务化的方式;

  3. 目前还没有看到落地实践和可行的方案。

很期待 ThoughtWorks 继续分享一些能落地的 Data Mesh 场景和方案。

《硬刚Presto|Presto原理&调优&面试&实战全面升级版》


《硬刚Apache Iceberg | 技术调研&在各大公司的实践应用大总结》


《硬刚ClickHouse | 4万字长文ClickHouse基础&实践&调优全视角解析》


《硬刚数据仓库|SQL Boy的福音之数据仓库体系建模&实施&注意事项小总结》


《硬刚Hive | 4万字基础调优面试小总结》


《硬刚用户画像(一) | 标签体系下的用户画像建设小指南


《硬刚用户画像(二) | 基于大数据的用户画像构建小百科全书》

用户头像

王知无

关注

大数据成神之路作者,全网阅读超百万。 2019.01.20 加入

《大数据成神之路》作者,全网阅读超百万。公众号:《大数据技术与架构》,关注大数据领域最新动态。略微懂点大数据方面的知识。

评论

发布
暂无评论
Data Mesh,数据网格的道与术