本系列文章将围绕东南亚头部科技集团的真实迁移历程展开，逐步拆解 BigQuery 迁移至 MaxCompute 过程中的关键挑战与技术创新。本篇为第七篇，基于 MaxCompute 多租的大数据平台架构。

注：客户背景为东南亚头部科技集团，文中用 GoTerra 表示。

一、为什么要采用多租架构

GoTerra 原来在 GCP 上，使用 Bigquery 作为数仓。由于企业规模和合规要求，GoTerra 集团每个业务实体（Business Entity）必须使用单独的云账号，管理和使用云资源，同时进行单独的成本结算。

但对于 GoTerra 这样多业务实体的集团公司，GoTerra 多个云账号（下文已租户替代）又带来了跨租户的资源访问、多租户管理、统一资源管控、统一成本管理等挑战。

尤其对于大数据平台来说，为避免各租户重复建设导致资源浪费，一般需要集中建设，但这又不符合企业合规要求；若分开建设的话，又面临跨租户数据访问的挑战。为解决这些问题，GoTerra 在 GCP 平台上，利用 GCP 良好的多租户设计和 Bigquery 跨租户数据访问能力，设计了其“控制平面多租共享、数据平面单租互访”的大数据平台架构，如下：

即：

a.控制平面多租户共享资源，主要包括任务调度、元数据管理、数据质量、监控告警、访问控制等大数据基础能力，由企业的 DWH/DW 团队统一维护，费用分摊到各个业务租户 account

b.数据平面每个业务实体 account 单租，由 Bigquery 提供数据接入、数据计算、数据存储和服务的数仓能力，由各个业务实体的 DA/DS 团队来管理和维护，同时在控制平面的管控下，可以授权访问其他租户 Bigquery 数据

二、MaxCompute 现有多租能力

迁移到 MaxCompute，我们跟客户经过了详细的讨论和设计，借助阿里云跨租户云资源访问能力和 MaxCompute 多租能力，实现了类似的平台架构。

首先，我们先回顾下 MaxCompute 的多租能力。如下图所示：MaxCompute 在同一集群/region 下支持多个租户，每个租户下包含项目 Project、Quota、网络连接等云资源。Project 主要管理数据对象、作业实例、用户角色等；Quota 主要管理计算资源。每个租户可以通过跨项目数据访问/代理授权，实现受控的数据互访。

虽然 MaxCompute 本身是支持多租的，但我们原来谈多租，多是强调其隔离性和安全性，并没有涉及多租在如 GoTerra 这样大的集团公司跨账号上的使用场景。所以，MaxCompute 多租能力技术上具备了，但实际在商业化/商业模式上没有走出类似于 Bigquery Data Mesh 这样的创新数据架构。

三、如何在阿里云上实现基于 MaxCompute 多租的大数据平台架构

如何实现 GoTerra 客户在 GCP 上的多租大数据架构呢？首先我们来分析下需要具备什么样的多租能力？

a. 跨租户的数据访问：

• 需要有统一的命名空间方便访问：Bigquery 是通过[project_name].[dataset_name].[object_name]来支持跨租户的数据访问，这个 MaxCompute 是已经支持的，可以通过[project_name].[schema_name].[object_name]来访问

• 需要具备管理数据访问对象的能力：如上文介绍，MaxCompute 已经具备

b. 跨租户的数据访问控制

• 原来 MaxCompute 提供了受限的跨租户访问控制能力：基于 package 的跨项目数据访问和云账号代理授权。但基于 package 的跨项目数据访问方式无法支持细粒度的访问授权，云账号代理授权的方式无法支持灵活的访问授权，这些都影响了跨租户数据访问的应用。

• ACL 和 Policy based 访问授权：MaxCompute 本身支持 ACL 和 Poly based 访问授权，但支持上述精细化、灵活授权，需要做增强

c. 跨租户的元数据发现

• 在跨租户场景下，需要能够访问跨租户的 MaxCompute 元数据，方便数据的使用和处理

• 本身 MaxCompute 元数据是租户共享的，但不管是 MaxCompute 控制台和 DataWorks 元数据管理，仅支持同一租户下的元数据发现，即用户可以看到同一租户下的 MaxCompute 元数据。

从上所知，MaxCompute 需要在跨租户的数据访问授权、元数据发现做额外的增强，这些需求已经开发并交付给 GoTerra 客户使用，后续也会正式发布，成为 MaxCompute 公共云的通用能力。

MaxCompute 具备了多租能力之后，因为 GoTerra 使用阿里云账号访问 MaxCompute，也需要阿里云支持跨账号的资源访问，这部分是基于阿里云 RAM 跨账号授权来实现，示例如下：

a. 创建一个大数据平台控制平面的云账号（Control Plane Account _A_）和多个数据平面云账号（Data Plane Account B1 ~Data Plane Account _Bn_）

b. 在控制平面的云账号下，创建 RAM Role _dataplaform_controlplane_，该 RAM Role 可以允许 ECS/ACK 等云服务访问并扮演该 RAM Role

c. 在每个数据平面云账号下，创建 RAM Role，该 RAM Role 可以允许控制平面的云账号_A_访问并扮演该 RAM Role，同时授予该 RAM RoleMaxCompute 云资源的访问权限

d. 控制平面下的 ECS/ACK 等云资源，可以通过扮演_dataplaform_controlplane_ RAM Role 访问数据平面的 RAM Role，并使用数据平面下的 MaxCompute 云资源

这样，基于上述的云产品能力和架构设计，我们在阿里云上实现了 GoTerra 客户原来在 GCP 上类似的多租大数据平台架构。

下一步展望

我们实现了数据平面的多租，但控制平面 GoTerra 客户是自建的一套大数据工具链链，对应的能力是我们 DataWorks 产品。很多集团类的企业客户并没有像 GoTerra 这样的自建能力，他们期望使用 DataWorks 来一站式构建控制平面的能力。

DataWorks 针对这样的场景，也需要多租方面做适配，如支持更灵活的数据源多租、数据分析跨租户元数据发现、数据开发支持数据源多租等，部分功能已经实现，部分功能也在规划中，如此 DataWorks 将在企业级多租能力上，再上一台阶。