拍乐云运维专家受邀 QECon 大会，畅谈多云环境伸缩实践

5 月 28 日-29 日, QECon 全球软件质量 &效能大会在深圳万丽酒店圆满落幕。本届 QECon 大会聚焦“智能、云原生、协同提效、业务价值” 等主题词，在大会主场的主旨演讲和 15 个专场的主题分享中得到详尽、全面的诠释。拍乐云作为业内技术领先的音视频云服务商在云原生、DevOps 方面有着深厚的技术积累，运维专家 &负责人毛立平受邀参加本次大会。

今天我们处在一个新时代——数字化时代，万物互联，技术日新月异，云原生、智能、大数据、区块链等技术被软件产品和研发广泛应用，促进业务价值链重构。同时，软件系统的复杂性、不确定性也与日俱增，给研发和运维带来巨大的挑战。为此，我们更乐意采用敏捷、DevOps 开发模式，快速迭代，持续集成，持续交付；我们也更加关注效能，开源协同，数据驱动效能，完善工具链，加速业务价值的交付。

拍乐云 Pano 运维专家 &负责人毛立平在「云原生质量」专题论坛中给大家带来了一场关于「多云环境弹性伸缩实践」的精彩分享，引起了在场听众的积极响应和深入思考。以下为部分演讲实录。

#1

多云的优势和挑战

对于一个实时互动的音视频服务，拍乐云需要在全球范围内做到端到端通信 400ms 以内。因此我们采用了分布式的部署架构，在大区自建数据中心，同时利用公有云的能力作为补充，将服务部署到不同云厂商的不同地域，达到更好的网络覆盖效果。对于第三方云厂商也无法覆盖的区域，我们通过在边缘机房部署 Pop 节点的方式进行加速。通过大区自建数据中心+多云+ Pop 节点的混合方案，我们实现了全球 200+ 国家及地区的网络覆盖和全球用户的就近接入。

我们将服务部署在多云环境，会有以下优势：

利用不同厂商的网络，可以获得更好的网络覆盖；

可以获得更好的弹性，全球不同云不同区域随时进行扩容缩容；

鸡蛋不放在一个篮子，可以获得更好的服务可用性，单一云厂商出现不可用时，也不会影响整体服务。

然而，将服务运行在多云环境时也会面临一些挑战：

镜像一致性：不同云厂商的镜像会不一致， 同一个云厂商的镜像在不同时刻，也会有不一致的情况；

拓扑一致性：不同云上基础设施部署拓扑也存在不一致的情况；

功能一致性：不同云的功能/性能/网络表现存在差异；

容量一致性：不同云上如何定义一个统一容量标准，如何进行扩容/缩容。

#2

多云的解决办法

面对这些挑战，拍乐云采用了以下解决思路：

标准化：自定义镜像制作方式，统一不同云的镜像。自定义部署拓扑结构，统一不同云的部署拓扑；

分层化：分离基础设施和应用部署的过程；

代码化：将基础设施代码化，实现 IaC(Infrastructure as Code)，同时将应用部署代码化，全脚本化部署应用；

自动化：定义服务容量，跨云伸缩规则配合调度规则实现自动扩容缩容。

在评估服务容量时，大多数的厂家使用的是 CPU、带宽这类系统参数来决策是否进行服务扩容/缩容。但这会容易出现一些问题，比如：CPU 使用率不是很高时，服务容量可能已经不足了，这种情况下，根据系统指标进行扩容缩容，容易出现问题。

拍乐云使用的是应用层的容量指标来描述，所有服务统一使用 0-1000 表示容量。每个应用服务都会暴露这个容量指标，同时，我们通过对比这个容量指标和系统指标的差异，持续对容量指标的精度进行修正。等跑了一段时间以后，这个容量指标就能比系统指标更精确，符合实际。

#3

多云的效果和未来工作

目前拍乐云能做到在几分钟内，对全网完成全球数百个服务器并发扩容/缩容，轻松应对突发流量。未来，我们将对历史容量趋势进行分析，优化扩容/缩容的步长，进一步提升扩容/缩容的精度。作为一家全球化的实时音视频云服务商，我们将以数据为驱动，深耕 DevOps 领域，夯实底层基础设施，为企业和开发者提供更加优质的音视频体验。