高效处理日均超 1000 亿次广告请求！Mobvista 是如何做到的？

伴随着 5G 时代的到来，社交媒体上的视频广告呈现井喷式增长。瞧，下面的这个场景你是不是很熟悉呢？

正在玩手游的时候，哎呀！一不小心点击失误，生命值用完了....

此时你的内心 OS：怎么办怎么办！唉，算了要不充一次费用再玩几次？

这时，手机端就会有消息提示弹出：

观看一个创意小视频

即可获得一次免费“复活”机会哟~

上述这个场景，就是广州汇量信息科技有限公司 (以下简称“汇量科技”) 日常的广告营销业务之一。作为第三方移动营销平台，汇量科技为全世界超过 200 个国家与地区提供 24 小时不间断的移动营销解决方案和洞察，这也意味着汇量科技每天需要通过复杂的算法预测处理超过 1000 亿个广告请求。

即使在如此高吞吐量、高弹性广告需求下，汇量科技也实现了成本上的优化，节省了近 50% 的离线和在线资源成本。而这背后的推手，就是基于亚马逊云科技打造的一站式大数据机器学习平台。

通过与亚马逊云科技的合作，我们很快可以触及到 200 多个国家以及区域市场的当地用户。利用 Amazon DynamoDB、Amazon Lambda 等服务，大幅简化了我们的系统，到最后我们每次的广告请求累计节约了 65% 的成本，对于企业的发展起到了非常大的助推作用。

——广州汇量信息科技有限公司联合创始人 &CEO 曹晓欢

汇量科技定位为向全球移动开发者提供综合性服务的技术平台，于 2018 年 12 月作为“新经济移动智能营销第一股”上市港交所，在全球 16 个城市设有办事处，旗下拥有超过 700 名员工。

汇量科技集团旗下现有程序化的互动式移动广告平台 Mintegral、移动效果营销平台 Nativex、移动游戏数据分析平台 GameAnalytics 三大业务品牌。

成功应对日均千亿次大规模广告需求

汇量科技每天需要通过复杂的算法预测处理超过 1000 亿个广告请求，基于汇量科技需求，亚马逊云科技为其提供了丰富的产品解决方案。最终，汇量科技决定将整个计算集群迁移至  Amazon EC2 M5d 机型，部署规模在上千台实例，单个 spark 作业在 M5D 实例的本地 NVMe 磁盘上产生的 Shuffle 数据超过 10 TB，最终在成本无需增加的同时，性能提升 3 倍。

在面对如此庞大的数据信息时，也需要足够安全的云端保护。如果您想要了解云安全概念，包括访问控制、数据加密方法及各种可用的安全服务，欢迎参加 2021 年 3 月 12 日 8:30-18:00 在深圳举办的线下活动——亚马逊云科技 “2021 Security Day”，我们将带您由浅入深探索云上安全！

图 1  汇量科技基于亚马逊云科技系统架构示意图

Amazon S3 数据湖为汇量科技提供了一个弹性且具有成本效益的存储池，相较于传统自建的 HDFS 存储平台，Amazon S3 无论是存储成本还是开发运维成本都能降低 90%。此外，汇量科技还选择大规模应用 Amazon EC2 Spot 实例作为计算资源去部署全部在线与部分离线数据集群，这不仅弥补了部分时段高峰期激增的资源需求，而且节省了近 50% 的离线和在线资源成本。

通过这种协同创新的方式，汇量科技实现了数据流转的闭环。

汇量科技利用亚马逊云科技的云服务打造的一站式大数据机器学习平台，线上变现能力数倍增长，日均达到 10 亿台独立移动设备在线数据请求，高效处理超 1000 亿次的线上预测，使收入和净利润均实现大幅提升。我们在该领域的竞争力已跻身世界前列。

——汇量科技集团副总裁 朱亚东

实时传递数据，使流量价值最大化

汇量科技的另一挑战来自于广告平台行业场景的特殊诉求。对于广告行业而言，其业务特点对数据时效性的需求极高：每个广告请求背后的复杂算法预测，其端到端的数据延迟要求必须少于 50 毫秒（p99 <50ms）。

这就要求汇量科技必须更有效地发掘变现流量的特点，并将这种精准、有效的数据实时传递给客户，使其流量价值最大化。

在数据处理方面，为了支撑日均千亿次的广告在线读取需求，汇量科技通过 MXNet 特有的 Parameter Server 架构，支持了大规模稀疏嵌入层的模型训练和动态批处理，在实现 PB 级别的巨量参数分析的同时，单次请求数据延迟少于 10 毫秒（p99 <10ms）。

轻松解决数据稀疏性与复杂性

汇量科技不同于传统的头部 App，作为立足全球的服务提供商，其数据稀疏性较强且数据维度复杂。故其大数据机器学习平台的搭建，还面临着极大的数据稀疏性和数据复杂性的双重考验。

汇量科技的 DNN 模型拥有巨大的稀疏嵌入层，包含超过百亿维度的特征。此外，在进入分析环节前，从点击日志到训练样本，都需要对数据进行复杂的预处理。

在诸多开源分布式学习框架中，汇量科技选择了 Apache MXNet，使其能够更好地支持稀疏数据的计算，包括通讯、基于特征的存储等方面。

汇量科技是国内最早一批帮助中国移动互联网企业出海的移动营销平台之一。那么，在企业扬帆出海的同时，应该如何应对信息安全的合规挑战呢？

如果您想要了解有关的更多安全出海案例，3 月 23 日，亚马逊云科技及合作伙伴将为您全方位分享出海合规方案及最佳实践！

原文链接：高效处理日均超 1000 亿次广告请求！Mobvista 是如何做到的？