火山引擎 DataTester：AB 实验平台未来演进趋势是怎样的？

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群

近日，DataFun 联合行行 AI 举办第四届“数据智能创新与实践人工智能大会，火山引擎 DataTester 数据科学家就“传统视角下的 AB 实验与互联网实验平台演进”这一话题作了分享。从宏观的层面介绍了 AB 实验目前在互联网的发展状态，分析预测了 AB 实验未来的演进趋势。

互联网 AB 实验期望解决的问题是：通过结果数据度量业务方案的收益并决策，接受有切实收益的业务方案，同时否决无收益甚至是负向的业务方案。但由于 AB 实验的结果合理性保障是在假设随机以及满足 SUTVA 假设两个点的基础上存在的，因此可以说当前互联网 AB 试验亟待解决的问题，绝大部分都与二者有关。

目前互联网 AB 实验平台的建设，都围绕实现分流能力、数据追踪与计算能力、统计分析与结果可视化能力以及标准实验流程 4 块核心能力展开。大多数互联网公司都有自建的实验平台，但成熟度参差不齐。其中，字节火山引擎 DataTester 完善度相对较高。在 C 端场景下，火山引擎 DataTester SUTVA 假设满足较好，实验能力发展相对成熟，有一定的标准。可以满足 80%以上的 C 端实验需求，且需要额外投入的人力相对较少。

但在社交、直播等违背 SUTVA 假设的场景下，互联网大厂虽有尝试，但都未建成标准化能力。现阶段，在面对上述违背 SUTVA 假设的场景时，进行 AB 实验需要投入大量人力。“如何实现随机化”和“配套通用统计分析方法”成为实验平台发展亟待解决的两个痛点。与此同时，现阶段实验平台在易用性方面也有不足。降低使用成本和提升效率是实验平台在新业务接入、用户接入、数据接入以及指标分析四个阶段进行优化的目标。

DoE 是 Design of experiment 的缩写，旨在描述和解释在假设反应变化的条件下信息变化的任何任务的设计。DoE 可以分为单因素实验和多因素实验，但都需要遵守 DoE 的 4 大基本原则：对照原则、随机化原则、重复性原则以及均衡性原则。而 DoE 的 4 大基本原则可以分别对应到互联网实验的“对照组”“流量分层 hash”“多天观测、扩流”以及“SRM 问题”。

因此在 DoE 的启示下，可以分析出 AB 实验平台可能的六个演进方向：

1. C 端场景实验深度发展

2. 增加正交分层：完善实验平台正交性

3. 健全实验分析能力：

   归因与解读才是王道

   发展正态分布外分析能力

4. 实验工程成本优化：

   采用正交设计框架

   建设标准数据源

5. 拓展实验能力边界

6. 完善非标场景推进准因果实验方法

分享的最后，也展示了 AB 实验领域从业者需要的专业素养。一方面平台建设者需要有过硬的编程功底、由点及面的额通用化思维、产品化和用户思维；同时业务从业者需要有扎实的统计基础。

此次的分享虽短，但详细介绍了实验平台目前的发展现状和未来的演进方向，活动参与者得以更加深入了解 AB 实验平台的行业现状和未来趋势，对将来火山引擎 DataTester 的未来发展会有更加深入的了解和更多的期待。

火山引擎 DataTester 源自字节跳动长期沉淀，截至 2023 年 6 月，字节已通过 DataTester 累计做过 240 万余次 AB 实验，日新增实验 4000 余个，同时运行实验 5 万余个。DataTester 目前服务了包括美的、得到、凯叔讲故事等在内的上百家企业，为业务的用户增长、转化、产品迭代、运营活动等各个环节提供科学的决策依据，将成熟的“数据驱动增长”经验赋能给各行业。

点击跳转火山引擎A/B测试了解更多