汇量科技使用倚天 710 云实例,高效处理大流量广告请求
汇量科技为全球移动开发者提供广告技术与营销技术服务,已累计服务全球 7000 多家互联网企业,其广告推理业务对云实例的 CPU 性能及内网带宽需求日益提高,通过使用阿里云 g8y 倚天云实例,实现了性能和网络带宽双双提升。汇量科技顺利承接了大流量广告业务请求,同时,与上一代 g6 系列对比单机成本更优,综合性价比进一步提升。
案例速览
行业:互联网广告服务
挑战:支撑业务快速发展、广告模型结构升级、提升技术需求的同时实现降本增效
解决方案与产品:基于倚天 710 芯片的 g8y 倚天云实例、ESS 弹性伸缩服务、Spot 抢占式实例
成果:通过使用阿里云解决方案,汇量科技顺利承接了大流量接入广告业务请求。性能提升的同时,单机成本降低 15-20%,综合性价比提升 30% 以上。
背景
汇量科技成立于 2013 年,是全球领先的第三方技术平台,提供包括用户获取、效果衡量、创意自动化、广告变现等全方位能力的 Saas 服务矩阵。其中,Mintegral、Nativex、热力引擎等品牌及旗下产品,形成了丰富且互为补充的产品形态。目前已累计服务 112 个国家的 7000 多家互联网企业,覆盖 247 个国家及地区。
随着汇量科技广告业务不断发展的同时,客户重点方向转向提升客户满意度、增强客户忠诚度,从而提高企业的市场竞争力,另外也要通过降本增效提高企业的运营效率,减少企业运营成本,提高经济效益等。
业务挑战
降本 & 技术需求:广告投放业务每日所需的用云资源量波动巨大,为满足各地业务所需波峰与波谷,希望实现灵活、稳定、成本优化。
广告推理和流量介入性能需求:广告推理服务精排模块,随广告模型结构不断升级,在线推理模型请求参数变多,客户对 ECS 实例的性能及内网带宽需求更高,部分 AI 业务算力存在性能不足情况。具体而言,大量用户对效果广告进行点击时,业务系统需要对海量流量进行推理分析等操作,如此大流量介入场景下,原来使用的第六代企业级实例 g6 的网络带宽等性能无法承载如此大流量,同时性价比不如预期。汇量科技希望在实现业务诉求的基本上实现成本优化。
产品 &解决方案
在通用计算方面,早期 g6 系列整体内网带宽等性能指标不满足需求,通过使用第八代 ECS 云实例 g8y,即倚天云实例,实现了同时提升 CPU 性能和内网带宽,与 g6 系列对比单机成本降低 15-20%,综合性价比提升 30% 以上。
搭载倚天 710 芯片的倚天云实例自设计初就是一款云原生产品,倚天 710 是平头哥半导体发布的首颗为云而生的 CPU 芯片,单芯片容纳高达 600 亿晶体管;在芯片架构上,基于 ARMv9 架构,内含 128 核 CPU,主频 2.75GHz,能同时兼顾性能和功耗。
在内存和接口方面,集成 DDR5、PCIe5.0 等技术,能有效提升芯片的传输速率,并且可适配云的不同应用场景。阿里云提供丰富的生态工具,支持全应用生态适配,0 代码修改即可完成主流业务迁移。
性能方面,倚天 710 相对于传统 CPU 架构有三大优势:
第一,内部 128 核为独享物理核,避免了超线程核性能争抢问题;
第二,低功耗设计,高规格实例可以实现线性性能增长,避免功耗过高导致降频问题;
第三,大 Cache 设计,提升云场景访存性能。
因此,倚天云实例在广告在线推理业务上有很大的性能优势。
随着业务发展与广告模型结构不断升级,在线推理模型请求参数增长速度越来越快,内网带宽要求越来越高,为了适应业务不断增长带宽需求,阿里云推出基于 CIPU(Cloud infrastructure Processing Units,云基础设施处理器)与倚天硬件架构的 ECS 实例,通过将虚拟化与 IO 转发等任务卸载到专用硬件上进行加速,并在 VPC 环境下支持弹性 RDMA 加速能力,相比 TCP 时延降低 70% 以上,满足了广告推理业务对带宽和时延的要求。
通过结合 ESS 弹性伸缩服务与 Spot 抢占式实例等产品,并采用了按量付费的节省计划计费模式,在线的非数据库依赖模块全采用动态伸缩的形式进行资源调控,在高峰期时及时开放资源,低谷期时缩减资源,保障资源利用率始终在一个合理的水平,从而确保了成本的最优化。
弹性伸缩是阿里云的一种资源管理服务,可以根据用户的业务运行状况和弹性策略,自动创建和释放资源。而抢占式实例是阿里云推出的一种低成本竞价实例,类似于广告竞价模式。企业需要在创建抢占式实例时指定出价价格,当指定实例的市场价格低于企业出价且库存充足时,用户即可按照出价购买并使用该实例 1 小时。而 1 小时后,当市场价格高于企业指定价格,实例会自动释放。
关于部分 AI 业务性能不足的问题,通过升级最新算力提升性价比,基于神龙计算架构的异构计算云实例,同时具备了 IO 低延时和计算低延时,进一步降低了广告请求的延时,提高了业务效率。
客户收益
通过使用阿里云倚天实例,汇量科技顺利承接了大流量接入广告业务请求。性能提升的同时,单机成本降低 15-20%,综合性价比提升 30% 以上。
汇量科技的在线计算广告平台和大数据平台,总体有 72% Spot 资源运行,达到成本极致优化的同时,线上稳定性保持在高水平,并通过一系列成本优化手段,成本优化率大幅提升。
使用阿里云各种 API 和服务,总体效率也得到了极大的提升,综合运维操作和管理的日常效率提高了超过 90%。
汇量科技首席人工智能官朱小强表示:“广告推理服务精排模块,随广告模型结构不断升级,在线推理模型请求参数变多,对 ECS 实例的 CPU 性能及内网带宽需求更高。早期 g6 系列整体内网带宽等性能指标不满足需求,通过使用 g8y 倚天云实例同时提升 CPU 性能和内网带宽,和 g6 系列对比单机成本降低 15-20%,综合性价比提升 30%以上。”
评论