火山引擎 A/B 测试：MAB 智能调优实验，企业活动效果提升新利器

618 临近，各大电商 APP 的预热活动已然拉开序幕。对企业而言，一场活动从策划到上线，中间经过效果验证，其业务成本很高。一个好的活动创意从策划、开发、到最终发布，至少会经历几周实践，如果中间还经历 A/B 实验的小流量效果验证，会更加耗时耗力。但一个不容忽视的现状是，很多短期的线上活动很可能前几次的 A/B 实验结果都是不显著的，但由于活动排期紧凑、实验调试时间短，常规 A/B 实验能为活动优化带来的收益常会收效甚微。

企业在短周期的活动运营场景中，如何通过快速、低成本的 A/B 实验，获得更好的收益呢？火山引擎 A/B 测试 DataTester 推出的新功能——MAB 智能调优实验，可以解决企业短周期活动运营场景的 A/B 实验痛点。

传统 A/B 实验依赖于统计显著性的经典假设检验，在实验期间不能够变更每个子版本的流量；因此这类实验需要至少 7 天的专门预留周期、要有足够的样本进入实验，并且在实验开始后不能有任何变动，才可能得出显著结果。而不同于传统的 A/B 实验，DataTester 的 MAB 智能调优实验能支持 1-2 天的短期快速 A/B 实验，实验以整个活动收益最优为核心目标，可实现动态实时的流量调节。

以某款游戏 APP 促活活动实验为例，该 APP 接入了火山引擎 DataTester，希望验证多文案 push 场景下，MAB 智能调优策略能比均匀分流的策略带来点击率更高的收益。

该 APP 的运营团队首先拟定了 4 款不同的推送文案：

• 标题 1:巨量元宝限量发！！！

• 内容 1:宝箱已满，整整 300 颗元宝待领\n 马上点击获得>>

• 标题 2:@你，有人偷偷给你送元宝啦😊

• 内容 2:整整 300 颗元宝待领\n 马上点击获得>>

• 标题 3:免费的元宝福利到啦～～🎁

• 内容 3:最高可获得 540 颗元宝，还不赶紧来领取👉👉>

• 标题 4:今天的元宝奖励来啦～～～

• 内容 4:元宝已经溢出来了！\n 点击领取才能继续收集哦>>

在实验设计时，他们将整个实验层的流量（100%）均分为两组，实验总时长和活动时长一致，设为 5 天。对照组给 50%流量，并在对照组流量中开设一个 ABCD 实验。将流量等分为 4 份，分别分给上述 4 个文案。实验组同样给 50%流量，对实验组进行 MAB 智能调优实验。

在为期 5 天的实验结束后，可以看到对照组和实验组的 5 日累计指标数据，发现基于 DataTester MAB 智能调优实验进行流量分配的实验组，在总体点击率上获得+9.1%的正向收益，且增长显著（p value=0.002）。

通过上述案例可以发现，在两组实验中，实际观测的点击率（CTR）最高的文案并不太一样。这意味着，受推送发布时间、用户心理等多种不确定影响因素影响，假设以对照组策略（固定均匀分流实验）作为先导实验来选择文案，最终获得的实验结论并不见得可靠。

而如果采用 MAB 智能调优实验，企业只需接入 DataTester 并启动所有的标题文案，DataTester 会采用智能优化能力来进行流量的实时的调整和分配，企业的转化效率平均可提升 10%以上。而除去推送文案实验场景之外，有多种营销活动场景，如落地页择优、折扣策略择优等，也都能通过 DataTester MAB 智能调优实验实时开启。

DataTester 是火山引擎数智平台旗下产品，能够深度耦合推荐、广告、搜索、UI、产品功能等多种行业场景需求，为业务增长、转化、产品迭代，运营提效等各环节提供科学的决策依据，目前已服务了美的、得到、凯叔讲故事等在内的上百家外部企业。

据了解，火山引擎 DataTester 目前推出了 30 天免费试用的活动，用户只要在火山引擎 A/B 测试官网申请试用，无需企业认证，一键申请即刻开通！