泛互联网行业 A/B 测试全解析：产品优化的创新之道

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群

近期，火山引擎数智平台举办了“超话数据：企业产品优化分享”的活动。火山引擎产品解决方案专家从企业应用的视角，分享了 A/B 实验在产品全用户生命周期的体验优化和案例。

在用户拉新环节，企业可以通过广告素材实验、落地页实验、投放受众实验及智能调优等实验实现产品的推广优化。在后续的用户激活、用户留存活跃环节，企业可以通过 A/B 测试帮助产品优化，开启产品体验优化实验、搜索排序实验等，实现用户体验、产品功能的优化，提升用户提留并实现沉寂用户激活。

在变现环节，企业一方面可以应用 A/B 测试针对交易链路、会员转化链路等开启链路优化实验实现引导用户进行商业化转化；另一方面，在优惠券发放前也可以开启 A/B 实验，选择出收到优惠券后变现转化率最高的人群类型后再进行优惠券发放。在用户裂变环节，企业能够通过 A/B 测试实现分享传播链路优化、裂变着陆页优化等，实现用户价值最大化。

以火山引擎推出的 A/B 测试平台 DataTester 应用为例，其作为 A/B 测试平台能够贯穿服务于从拉新到后续变现及用户裂变的产品用户全生命周期，而应用 A/B 测试进行产品优化，一般可以分为业务洞察和实验验证两步。一方面，企业需要通过数据确定产品优化核心指标；另一方面，企业需要通过 A/B 实验验证策略是否达到预期，再考虑后续全量推行。

这场分享讲述了贯穿全用户生命周期的多个案例，包括新用户体验优化、搜索内容展示优化、提升会员转化率等，下方将选取分享中企业 APP 产品优化的高频场景并展开介绍。

新用户体验优化

新用户体验优化指的是对用户初次使用产品时的体验感进行优化。对用户来说，一款 APP 的首次体验感，是决定是否继续使用产品的关键。因此提升产品的新用户体验感是实现用户留存的关键。

火山引擎的专家分享中，现场提到这样一个例子，某学习工具软件希望提升新用户留存，通过数据分析发现在新用户进入软件后试听音频对用户留存有正向影响。因此企业希望通过引导新用户进入软件听音频，并通过音频内容提升用户次留。

为了达成上述目标，该学习软件设计了新用户登录后通过沉浸式蒙层自动播放音频或者视频的新功能。并开启 A/B 实验对沉浸式蒙层是否会对用户留存产生正向影响进行了验证。

通过对有无增加蒙层的两组落地页设计的用户学习率、完播率数据进行对比，可知通过蒙层实现最短路径让用户直接看到内容，对新用户学习率有正向影响。在此实验获得的数据基础上，后续团队再根据大盘指标考虑此更新内容是否推全。

内容优化

除了新用户的体验，产品提供的内容也是后续留住用户的关键。产品不断为用户提供感兴趣的内容，能够提升用户粘性实现用户留存。目前，进行的内容优化可以分为搜素内容展示优化和推荐内容优化两点。下面将分享针对这两点内容优化的具体实践。

搜索是用户了解运营活动、热门时事的关键入口，用户希望通过搜索找到感兴趣的内容，但大多数情况下用户通过搜索找到的结果不能符合预期。火山引擎的专家在现场分享时，讲述了一个算法已达标的前提下，某企业通过 UI 实验，对搜索页面的结果进行了搜索内容展示优化。

他们设计了缩小字体、将搜索关键词做高量显示等产品方案，再通过卡片形式，将每一个搜索结果聚焦做显示。尽量做到在一个页面上展示更多搜索结果的内容，同时让内容更加清晰，将搜索内容关键点呈现出来。

优化前用户搜索多，但是点击少，搜索没有被很好的利用起来，通过 UI 优化，搜索结果页面的点击率实现了很大的提升。

此外，企业还可以进行推荐内容优化。以某视频平台的应用为例，用户在该平台中搜索视频内容，但推荐的结果点击效果不如预期。通过后台数据分析可以发现，用户对推荐结果的点击率并不理想，因此该平台可以选择对推荐内容 UI 进行优化。

比如将主播放窗口缩小，推荐内容上移。针对优化后 UI 和原 UI 开启 A/B 实验，发现优化后 UI 推荐节目点击率高于原 UI，且播放窗口点击不低于原 UI，达到了该实验的效果。

通过对内容的优化实现用户的进一步留存是实现后续变现和用户裂变的前提，在实现了用户留存后企业才能引导用户进行变现动作。

提升商业变现能力

用户核心价值转化有两种：一种形式是引导用户开通会员，从免费用户转化成付费用户；另一种形式是让用户购买更高价值的商品或者内容。针对这两种场景企业又该如何进行优化呢？

首先是应用 A/B 测试提升会员转化率。通过页面优化让不花钱的用户付费吸引用户开会员，是比较经典的 UI 实验。一般情况下需要将付费开通的按钮做得尽量明显，同时叠加一个 buff，让用户能直观感受到开通会员带来的优惠，给用户直观的冲击。

这里有一个案例是，某阅读软件希望引导更多用户开通软件会员，希望通过优化会员开通页面 UI 提升会员开通率。比如，把“首月 6 元开通”直接显示出来，突出按钮样式。另外在文案上，清晰显示优惠力度能够让用户感观上获得收益，感受到收益明显大于付出成本，引导用户开通会员。

针对上述，实验设置了对照组以及两组实验组，实验组 1 将文案优化为“开通会员”，同时突出了按钮样式；实验组 2 的文案在对照组的基础上添加了副标题“现在开通，首月仅需 6 元”，将按钮改为“立即开通”并突出按钮样式。

通过实验结果对比发现，实验组 1 综合数据表现最佳，付费转化率提升超过 100%，模块点击率提升超过 20%。通过实验，可知购买引导区域的 UI 和文案对购买转化率影响非常大，文案简单、重点清晰、在 CTA 按钮上突出优惠价格，这三种设计对购买转化的提升效果最好。

另一种变现方式是引导用户进行购买动作，提升购买转化率。以某学习软件为例，对课程详情页分析发现用户对课程表的点击率比较高，因此可以假设缩短用户路径，露出核心内容，对用户的购买转化有正向影响。

基于相关分析和场景的假设开启实验，设置课程表默认收起的对照组和课程表默认展开的实验组。通过对购买转化率的对比，发现比较对照组，实验组购买转化率提升超过 3%。在实验基础上，能够对产品进行优化。

据了解，火山引擎 DataTester 源自字节跳动长期沉淀，2023 年中数据显示，字节已通过 DataTester 累计做过 240 万余次 A/B 实验，日新增实验 4000 余个，同时运行实验 5 万余个。本次活动分享的优秀实践案例，为泛互行业通过数据驱动实现产品优化提供了支撑，也为线上线下的听众提供了新的产品优化思路。相信未来，会有更多的企业将 A/B 测试实践应用到产品优化中来。

学习更多 A/B 测试干货内容，欢迎扫码进入字节跳动数据平台官方社群👇🏻