复杂 A/B 实验如何设计？火山引擎 DataTester 帮你落地！

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群

数字化转型时代，越来越多企业将目光聚焦于“数据驱动增长”的实践上，A/B 实验则在其中扮演着愈加重要的角色。

A/B 实验又称对照试验，但并非人们字面认知的“抛出 A 和 B 两个方案，通过数据选取最优解”这样简单。在业务的实际应用中，有较多的情况是需要多实验并行、经由多重子目标和多方举措配合，才能达成业务增长的总目标。

针对常见但复杂的 A/B 实验场景需求，近日火山引擎 A/B 测试（DataTester）推出了新功能——优化计划。当企业遇到非单个 A/B 实验能解决的问题时，可基于该功能围绕同一目标设计多重实验并同时运行，过程中可实时监测调整方案，通过多种手段验证想法，实现科学决策。

据介绍，在企业的运营过程中，一般会有核心关注的业务指标，如电商的 GMV 指标、运营活动的 PV/UV 指标等。如果要达成核心业务指标的提升，通常不能通过单一举措就可得到有效结果，而是需要多重举措并行、相互配合完成。

因此围绕业务总目标，企业会设有多个子目标，针对每个子目标再设计多组 A/B 实验，进行策略验证。

DataTester 的「优化计划」能力，可以直接帮助企业管理多重 A/B 实验的业务逻辑，并直观展示所有 A/B 实验的进度与动态。

业务只需要设置总体的优化目标，并通过“评价指标”和“衡量标准”完成不同子目标的拆解，即可针对子目标分别设置实验，并统筹查看效果。

如企业可以直接在「优化计划」中设置计划目标为——提升新用户登录率，而后进一步梳理子目标：

• 子目标 1：新用户红包活动促登陆（预期+20%）

• 子目标 2：优化登陆按钮文案（预期+2%）

• 子目标 3：增加登陆页呼出入口（预期+5%）

在 DataTester 的产品界面中，可以一目了然每一个子目标的关联实验，及其指标的详细信息。

DataTester 是火山引擎数智平台旗下产品，能基于先进的底层算法，提供科学分流能力和智能的统计引擎，支持多种复杂的 A/B 实验类型。在应用和分析场景上，DataTester 深度耦合推荐、广告、搜索、UI、产品功能等多种业务场景需求，为业务增长、转化、产品迭代，策略优化，运营提效等各个环节提供科学的决策依据，让业务真正做到数据驱动。

据悉，DataTester 经过抖音、今日头条等字节业务多年验证，截至 2022 年 8 月，字节跳动内部累计完成了 150 万次 A/B 实验。

目前，DataTester 已经服务了美的、得到、凯叔讲故事等在内的上百家标杆客户，将成熟的“数据驱动增长”经验赋能给各行业。

跳转火山引擎A/B测试DataTester官网了解详情！