本系列文章将围绕东南亚头部科技集团的真实迁移历程展开，逐步拆解 BigQuery 迁移至 MaxCompute 过程中的关键挑战与技术创新。本篇为第十一篇，基于 MaxCompute Resource & Quota 策略优化实现资源管理性能与成本最优平衡。

注：客户背景为东南亚头部科技集团，文中用 GoTerra 表示。

1. 背景

GoTerra 作为东南亚互联网头部企业，其业务生态覆盖网约车、电商、外卖、物流及金融支付等多个垂直领域，内部采用多账户架构（10+ Accounts，70+ Projects）及上百个资源额度组（Quota Group）进行精细化管理。在从 BigQuery 迁移至阿里云 MaxCompute 的过程中，对资源管理的核心诉求在于通过智能弹性资源分配策略，动态适配业务负载波动，在控制成本的同时避免资源瓶颈，实现性能与成本的最优平衡。面临以下核心挑战：

多业务线资源协调复杂

• 规模庞大：跨 10+独立业务单元（Account），涉及 70+项目（Project），需创建 100+资源额度组（Quota Group），资源管理颗粒度极细。

• 资源预留成本压力：每个 Quota Group 需按配置预留资源（CU），预付费模式下资源闲置与成本控制难以平衡。

计费模式差异带来的不确定性

• MaxCompute：预付费 CU + 定时弹性资源模式，迁移前缺乏历史数据支撑，无法精准预估所需 CU 量，存在资源预留不足（性能瓶颈）或过度配置（成本浪费）的双重风险

多类型作业资源需求冲突

• ETL 作业：需保障 1 小时内完成海量数据处理，依赖高吞吐计算资源。

• BI 作业：要求 10-15 分钟低延迟响应，需快速分配临时资源。

• 并存挑战：长周期 ETL 与短周期 BI 作业共享资源池，如何动态调度以避免资源争抢、同时满足不同 SLA（服务等级协议），成为性能与成本平衡的关键难题。

2. Resource Advisor 和 TopN Fair

2.1. Resource Advisor

2.1.1. 核心挑战

资源预估难题

• 计费模式差异

• 作业类型复杂

多业务实体管理，每个业务实体需独立阿里云账号，SLA 要求不同，导致资源购买量预期不一致：

• 超买：资源闲置浪费，挤占集群容量

• 少买：作业堆积，等资源时间长，影响业务数据产出

如何在控制成本的前提下，动态适配业务负载波动，避免资源瓶颈

2.1.2. 分层资源配置策略

其中 AutoScaleQuota 是应对 GoTerra 迁移场景新增的产品类型，解决迁移过程中，业务资源需求变化快，作业性能要求高的需求：

分层配置策略特点：

• 灵活组合：支持预付费、分时弹性与自动弹性任意搭配，满足不同业务场景的降本增效需求

• 极致成本：自动弹性部分，按实际使用量计费；相比扩缩槽等预留付费模式更加经济实惠

• 开箱即用：基于负载感知的自动弹性扩缩容，配置简单

• 秒级弹性：对比 BigQuery 限制扩缩容步长和窗口期，MaxCompute 更加灵活及时

• 资源稳定：基于历史数据和预测模型进行资源调度优化，保障弹性库存供给

2.1.3. 智能资源推荐与弹性配置

资源推荐工具（T+1 动态调优）

核心功能：基于历史数据的作业运行日志与资源消耗，结合作业类型（ETL/BI）的 SLA 要求，预测次日 CU 需求。

技术实现：

• 数据采集：抓取作业运行时长、CPU/内存消耗、并发度等指标。

• 作业分类模型：自动识别 ETL/BI 作业。

• 资源预测算法：

• 线性回归：基于历史资源消耗趋势预测基线需求。

• 弹性缓冲：根据业务波动率增加 10%-20%冗余量。

• 反馈优化：每日对比实际资源消耗与预测值，动态调整模型参数。

2.1.4. 推荐效果

GoTerra 迁入 MaxCompute 过程中，MaxCompute 进行了深度架构升级和性能优化，同时在合理的资源配置规划下，根据用户历史作业数据定期推荐用户 Quota 组配置和策略，每月实际产生费用约降低到 BigQuery 的 42%。

2.2. TopN Fair

2.2.1. 现有调度策略局限性

GOTO 业务需求

• 混合负载场景：ETL（长作业）与 BI（短作业）并存

• 核心诉求：

• 长作业优先：先提交的 ETL 作业需保障足够并发资源

• 短作业友好：后提交的 BI 作业可短时借用资源，但不显著影响长作业进度

2.2.2. 新策略：TopN Fair + 动态并发保障

2.2.2.1. 核心设计目标

• 资源隔离：确保长作业的最低并发度（JobMinimumConcurrency）。

• 弹性资源复用：在满足长作业的前提下，允许 Quota 组保留部分资源给短作业动态借用。

• 优先级分层：结合作业类型（ETL/BI）和提交时间，实现混合调度。

2.2.2.2. 关键参数定义

JobMinimumConcurrency（最低并发度）：

• 每个作业运行所需的最小并发度。

• 全局配置项，例如：JobMinimumConcurrency=10 表示每个作业至少分配 10 个并发单元。

TopN Fair 策略：

• TopN 作业：按提交时间排序，在至少保障每个作业 JobMinimumConcurrency 并发度的情况下，挑选前 N 个作业分配 Quota 组资源

2.2.2.3. 动态 N 值计算公式

2.2.3. 策略优势

2.2.4. 实际效果

整集群作业平均运行数下降 15.7%，作业运行时 Latency 95 分位值下降 45.7%，GoTerra 用户的效果较好的 Quota 组，作业平均运行数下降 31.3%, 作业运行时 Latency 95 分位值下降 75.4%。

3. 结语与展望

GoTerra 迁移到 MaxCompute 后，Resource Advisor 持续通过智能资源推荐优化成本，目标将总体费用控制在 BigQuery 的 40%以内。随着新产品 AutoScaleQuota 上线，资源管理实现全自动化：基于业务负载动态调整配额，无需人工干预，彻底解决突发流量导致的资源不足与作业等待问题。同时，TopN Fair 已在印尼集群全面上线，后续的发展方向：分析各 Quota 组作业执行模式，自动配置 JobMinimumConcurrency 并动态切换调度策略，进一步提升资源利用率。

在性能与成本优化的基础上，稳定性也是一个非常重要的目标，系统稳定性目标达 99.99%可用性，保障 GoTerra 在 MaxCompute 上实现“低成本、高效率、强稳定”的运行体验。