数据驱动的实验文化：字节跳动产品优化之路

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群

在近期 CCF TF 第 123 期用户体验工程主题活动中，火山引擎 DataTester 产品经理结合字节跳动在产品优化方面的经验，围绕“数据驱动的实验文化”这一话题进行了分享。

用户体验优化的最终目的是为了实现商业价值，为了确保优化方向的正确，企业需要有方法对用户体验和用户价值进行评估。AB 测试是目前最简单可靠的评估方法，它的基本的逻辑是通过控制变量，保证在同一时间、同一环境，只有产品功能有差异的情况下进行效果评估。AB 测试能够为每一次数字化体验的优化提供可靠的决策依据，帮助企业力求每次决策都带来正向收益，通过复利效应实现持续稳定的增长。

如何利用 AB 测试做好产品决策

字节跳动拥有用户全生命周期的实验解决方案，能够从公域营销、私域运营以及产品优化三个场景帮助企业应用 AB 测试实现用户体验的提升。下面从四个案例分享字节跳动在产品优化过程中对 AB 测试的应用。

• 抖音-熟人社交的产品探索

通过 AB 实验低风险地快速试错，让团队「勇于创新、敢于探索」。

在抖音弹幕功能上线前，抖音团队应用 AB 测试设计了一个实验。将没有弹幕的页面设置为对照组，将有弹幕无其他互动功能的页面和有弹幕有其他互动功能的页面分别设为实验组 1、2。

通过实验，抖音团队发现弹幕功能在保留了其他互动功能的时候可以在某些程度上提升互动率，但与此同时，视频的浏览量和用户留存都有下降。即，弹幕功能不足以转化为长期的比较稳定的用户价值。因此，实验后抖音团队作出的决策是不上线此功能。

• 抖音-视频蒙层的设计优化

通过 AB 实验更低成本地验证多个方案，帮助团队「精打细磨、找到最优」。

设计师在抖音使用过程中感觉到视觉疲劳明显，通过专业思考希望通过调整视频蒙层参数调整优化视觉状态。

团队通过 DataTester 开启 AB 实验，将原有方案设为对照组，调整视频蒙层高度、透明度等参数的方案设为实验组。通过小流量实验发现，视频蒙层优化后，人均 App 使用时长和人均 App 活跃天数都有显著上升。

• 懂车帝-APP 提升登录率的优化实践

懂车帝的目标是在不影响未登录用户使用体验的前提下，提升登录率。通过定位问题、确定方案、开启 AB 实验，三个步骤选择出最佳的方案进行迭代升级。实现登陆率的提升，给用户提供更多的个性化服务。

• 客户案例：悟空租车如何提升支付转化率

通过 AB 实验，帮助团队减少依赖“经验”进行决策。

为了提升支付转化率，悟空租车为用户提供了免押金服务，但用户使用率不达预期，支付转化率也没有明显提升。为了提升支付转化率，产品团队将租金支付和押金支付进行了拆分。对原有方案和新方案开启 AB 实验，发现拆分后下单转化率提升了 7%，实现了支付转化率的提升。

实验驱动的产品迭代文化体系建设

除了具体的实验案例，企业团队要想利用 AB 测试实现持续增长，就涉及到了企业实验文化的培育。组织、方法论与工具是 AB 测试驱动增长在全公司范围内可持续运转的三大要素，三者共同构成了 AB 测试可持续应用金三角。字节内部实验文化的培育经验就可以从这三个要素层面进行总结。

AB 测试可持续应用：方法论

在方法论层面，企业需要步步为营的增长思路和实验理念结合，因此企业可以从拆解增长目标和科学评估效果两个角度实现方法论的完善。

首先，企业需要拆解增长目标，将业务 OKR 转化为核心目标指标，通过设计实验、运行分析实验和决策、持续迭代三步，不断逼近业务目标，选取最优策略。

其次，企业利用 AB 测试的方法论包括实现科学评估效果。针对此，企业可以从四个方面实现：

• 搭建指标体系：基于公司业务 OEC 指标建设实验指标体系。

• 设立优化目标：拆解优化计划至子目标，包括评价指标和衡量标准。

• 管理实验效果：子目标跟实验核心指标深度关联，批量监控优化效果。

• 积累决策经验：沉淀实验经验，支持按指标提升效果进行查找、学校和参考。

AB 测试可持续应用：组织

在组织层面，企业需要实现必选实验的需求迭代流程、保障实验实施运行的团队以及统一增长目标和决策逻辑的建设和完善。即可以总结为流程机制以及组织机制两方面建设。

流程机制：配套的需求迭代流程和上线机制

将 AB 实验流程融入常规需求流程，复杂决策进行 Launch Review。

组织机制：搭建 AB 测试接口团队，工具＋服务双轨运行

企业需要搭建 AB 测试接口团队，对外部客户提供服务时，DataTester 需要将工具＋服务的机制双轨推进给客户。也就是除了工具，火山引擎 DataTester 还提供陪跑服务和咨询服务帮助企业运行好从实验设计到实验开发上线到决策的整个链路。同时企业还需要建立沟通渠道和考核标准，实现从业务的角度看问题，帮助业务成功。

AB 测试可持续应用：工具

在工具层面，火山引擎 DataTester 可以在实现科学性保障的同时帮助企业实现降本提效。一方面，DataTester 能为企业提供可靠的平台和数据。另一方面 DataTester 更贴近产品，易学易用，使用门槛低，且流程短，能够帮助企业快速开启完成 AB 实验，并实现后续的实验分析和经验总结。

DataTester 的接入层

接入层是 AB 测试平台和业务服务端的会话的方式。通过 SDK 的方式可以和业务端的服务端、客户端，等触点进行通信。在 SDK 里封装了分流服务和这个数据上报和回收的功能，通过此功能，业务上的各个端可以通过 SDK 与平台进行正常的通信，实现申请求分流服务，上报数据等。

DataTester 的功能层

功能层是平台里所有人可见的功能，包括了从实验设计到配置发布整个流程管理和实验报告。其中，实验报告包括基础信息的展示指标增加趋势以及它统计分布的情况。此外，平台会针对实验给出较为全局的结论，并可以实现实时监控告警。

DataTester 的数据层

DataTester 拥有开放平台的能力，能够与业务端其他平台进行对接，接入第三方的数据和埋点。实现在 DataTester 已有的 push 平台或 banner 位的资源管理平台里快速开启 AB 实验。

据了解，火山引擎 DataTester 源自字节跳动长期沉淀，2023 年中数据显示，字节已通过 DataTester 累计做过 240 万余次 AB 实验，日新增实验 4000 余个，同时运行实验 5 万余个。DataTester 目前服务了包括美的、华泰证券、博西家电、乐刻健身等在内的上百家企业，为业务的用户增长、转化、产品迭代、运营活动等各个环节提供科学的决策依据，将成熟的“数据驱动增长”经验赋能给各行业。

点击跳转火山引擎A/B测试了解更多