前言

在 AI 技术飞速发展的今天，大语言模型（LLM）、多模态模型等前沿技术正深刻改变行业格局。推理服务是大模型从“实验室突破”走向“产业级应用”的必要环节，需直面高并发流量洪峰、低延时响应诉求、异构硬件优化适配、成本精准控制等复杂挑战。

阿里云人工智能平台 PAI 致力于为用户提供全栈式、高可用的推理服务能力。在本系列技术专题中，我们将围绕分布式推理架构、Serverless 弹性资源全球调度、压测调优和服务可观测等关键技术方向，展现 PAI 平台在推理服务侧的产品能力，助力企业和开发者在 AI 时代抢占先机，让我们一起探索云上 AI 推理的无限可能，释放大模型的真正价值！

在 AI 推理服务全球化部署的今天，企业正面临跨地域流量调度、异构网络接入、高安全要求与低延迟保障的多重挑战。据行业调研，超过 60%的 AI 推理性能问题源于非最优的网络路径选择，而混合云场景下的服务接入复杂度更是导致运维成本飙升 300%。阿里云人工智能平台 PAI 平台推出的全球化的服务接入矩阵，正重新定义 AI 服务的高可用接入标准——从单地域 VPC 安全隔离到跨洲际毫秒级调度，让客户的推理服务在任何网络环境下都能实现「接入即最优」。

阿里云人工智能平台 PAI 的推理服务 PAI-EAS 为 LLM 服务量身打造了专业且灵活的服务接入方案。该方案支持多种服务调用方式，包括公网调用、VPC 调用以及高速直连调用，以满足不同场景下的网络需求。此外，PAI-EAS 还支持与 NLB 实例关联，实现自定义负载均衡策略，以及与 Nacos 关联，实现自定义服务发现功能。通过 PAI-EAS 专属网关能力，用户可以一键配置服务的公网与私网访问白名单。结合云企业网（CEN）打通 VPC 后，还能实现跨地域的服务调用，从而为客户构建全球化容灾高可用方案，确保业务的连续性和稳定性。

EAS 服务调用方式

公网访问

客户可以直接通过公共网络访问部署在资源组中的服务。公网访问时，请求会经由 EAS 共享公共网关转发至 EAS 在线服务。此外，为实现安全隔离与访问控制方面的需求，客户可配置专属网关，通过专属网关转发请求到 EAS 在线服务，以确保客户端与服务端之间拥有稳定的网络连接。

VPC 访问

位于同一地域的两个 VPC 网络支持建立 VPC 连接，客户可以通过共享网关或专属网关访问同一地域中部署在资源组中的服务。位于不同地域的两个 VPC 网络可以通过云企业网（CEN）进行连接。网络打通后，客户需要配置专属网关，通过专属网关将请求转发至 EAS 在线服务。通过专属网关转发请求，可以提升网络带宽，帮助客户降低高并发和高吞吐业务场景带来的网络风险。

VPC 高速直连访问

将 EAS 服务或专属资源组添加到 VPC 网络环境中，开通 VPC 高速直连。开通 VPC 高速直连后，无需通过网关访问服务，避免了四层 SLB 和七层网络转发，客户可以在 VPC 中直接访问 EAS 实例。同时，EAS 预置的 RPC 实现了 HTTP 相关协议栈，对于高 QPS（Queries Per Second）的大流量服务（例如图像服务），可以大幅度提高访问性能、降低访问延时。

NLB 地址调用

EAS 服务支持关联 NLB 负载均衡实例，客户可以通过 NLB 来自定义服务的负载均衡策略来调用 EAS 服务。

Nacos 地址调用

如果客户使用 Nacos 统一管理服务，将 EAS 服务挂载到 Nacos 实例后，可以使用 Nacos 的服务发现能力来进行服务请求。

专属网关

为了满足客户在安全隔离与访问控制方面的需求，EAS 提供了专属网关功能。通过专属网关，客户可以灵活地进行网络配置，支持为专有网络和公网配置访问白名单、自定义域名访问。此外，专属网关还可以帮助客户降低高并发和高吞吐业务场景带来的网络风险。

全球调度

在 PAI-EAS 推理服务平台中，依托智能化的多地域专属网关架构和全球各地域分布式资源部署能力，企业可轻松实现 AI 服务的全球化部署与智能调度。这一强大的功能不仅确保了服务在全球范围内的高效、稳定运行，更为客户业务的全球化布局提供了坚实的容灾高可用保障。无论面对何种突发状况，您的业务都能在不同地域间无缝切换，持续为用户提供不间断的优质服务，从容应对全球化的业务挑战。

使用方式

1. 登录PAI控制台，在页面上方选择目标地域，并在右侧选择目标工作空间，然后单击进入 EAS。

2. 在推理服务页签，单击部署服务，选择自定义模型部署>自定义部署。

3. 在服务接入的区域，进行网关、专有网络（VPC）、关联负载均衡 NLB、关联负载发现 Nacos 等相关配置。

系列简介：云上 AI 推理平台全掌握

本系列 《云上 AI 推理平台全掌握》 将深度解析阿里云 AI 推理平台的技术架构、最佳实践与行业应用，涵盖以下核心内容：

1. 技术全景：从分布式推理、动态资源调度到 Serverless，揭秘支撑千亿参数模型的底层能力。

2. 实战指南：通过压测调优、成本优化、全球调度等场景化案例，手把手教你构建企业级推理服务。

3. 行业赋能：分享金融、互联网、制造等领域的落地经验，展示如何通过云上推理平台加速 AI 业务创新。

无论客户是 AI 开发者、架构师，还是企业决策者，本系列都将为客户提供从理论到实践的全方位指导，助力客户在 AI 时代抢占先机。让我们一起探索云上 AI 推理的无限可能，释放大模型的真正价值！

立即开启云上 AI 推理之旅，就在阿里云人工智能平台 PAI。