Data Mesh，数据网格的道与术_王知无(import_bigdata)

大大的周 02-07 6612

周末的时候，看到有群友讨论关于 Data Mesh 的话题。这个名词我在2020年初的时候听到过一次，当时感觉就是一个概念，看的糊里糊涂，没有当回事。最近突然又被推上了话题风口，所以静下心来看了一下相关的论文和介绍。

在讨论 Data Mesh 之前，首先要给大家介绍一下 Service Mesh。

Service Mesh 公认的定义，是用以处理服务与服务之间通信的专用基础设施层。更本质的理解，它是服务治理平台，是业务逻辑解耦的必然产物，是数字经济背景下企业对研发效能提升的选择。

服务端架构从单体模块化架构，到 SOA（面向服务架构），到经典微服务架构（服务间采用 RPC 通信），到最新的 Service Mesh，是一个不断强调解耦和复用的演进历程:

单体模块化架构强调业务逻辑按模块划分

SOA 强调业务逻辑在应用粒度的复用（水平拆分）

经典微服务架构强调业务逻辑在应用粒度的解耦（垂直拆分）

Service Mesh 则强调业务逻辑与服务治理逻辑的分层及解耦

好了，Data Mesh 借鉴了微服务和 Service Mesh 的分布式架构思想，可以认为他是一种基于领域驱动和自服务的数据架构设计模式。

通常我们认为大数据平台的演变过程分为三个阶段：

第一阶段，基于企业级数据仓库的BI能力；

第二阶段，以数据湖为代表的大数据生态系统；

第三阶段，基于云的数据平台，亦为当前主流的混合实践模式，包含实时数据流处理架构、整合批量与流处理的框架、以及结合云端存储、流水线、以及机器学习能力。

当然上面这些方案都有一定的局限性。举个例子：极高的开发和运营成本。或者换句话说，一堆数据平台开发人员搞出来的东西产生不了很大的商业价值，ROI太低了。

按照Data Mesh的创始人的介绍说，Data Mesh 实际上是一组数据平台架构原则，融合了分布式领域驱动的架构（Distributed Domain Driven Architecture）、自助平台设计（Self-serve Platform Design）以及将数据视为产品（Thinking Data as a Product）的思维。

不好意思，个人水平有限。我看不懂上面的话要表达什么。

有兴趣的可以看看 ThoughtWorks 首席技术顾问 Zhamak Dehghani 发表在 MartinFowler 官网上的两篇文章《How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh》和《Data Mesh Principles and Logical Architecture》。

好了，至此我们听到过的数据架构至少包含了：数据平/中台、湖仓一体、Data Mesh。我只能说，大佬们太会玩了。

另外根据ThoughtWorks的分享，Data Mesh应该包含下面几个部分：

具有领域特征的数据或ML产品；

自服务的数据基础设施；

具有产品思维特性的管理方式和角色；

基于持续集成的交付基础设施。

那么Data Mesh的落地方式和交付标准怎么衡量呢？

我看了半天文章也不明所以，但是有几点可以肯定的是：

Data Mesh的受众应该是包含业务团队的，不是数据团队的专属；

Data Mesh 应该是服务化的方式；

目前还没有看到落地实践和可行的方案。

很期待ThoughtWorks继续分享一些能落地的Data Mesh场景和方案。