火山引擎 VeDI：A/B 实验如何应用在 APP 推荐系统中？

在移动互联网飞速发展的时代，用户规模和网络信息量呈现出爆炸式增长，信息过载加大了用户选择的难度。这样的背景下，推荐系统应运而生，为用户提供个性化的内容推荐。推荐系统在不断迭代中，其算法、策略、特征、功能和用户界面时常得到更新和优化，其中推荐算法的调整尤为关键。然而，由于深度学习模型的广泛应用，推荐算法的调整具有很强的黑盒属性，调整后的用户体验和效果难以通过经验直接判断。

为了更准确地评估和优化推荐系统，A/B 实验成为了一个不可或缺的工具。A/B 实验能够量化各项指标的变化，从而对推荐系统的效果进行科学评估，并为后续的优化提供数据支持。本文将以火山引擎数智平台 VeDI 旗下的 A/B 测试平台（DataTester）为例，介绍字节跳动如何使用其能力，持续实现推荐系统的精准优化。

推荐系统的本质是连接内容和用户，它构成了 <内容，推荐系统，用户> 的三元组，A/B 实验也围绕此三元组展开。下方介绍了推荐系统三元组中，最常使用 A/B 测试的场景集合，企业可对应到自己的推荐系统中作为参考。

在字节跳动的推荐系统实践中，A/B 实验在内容侧可以进行内容池优化、内容打标优化、视频封面模型的优化；用户侧（指产品的用户应用方面）可以通过 A/B 实验实现功能优化、性能优化、UI 改进等；而在推荐系统方面，可以使用 A/B 实验的维度更多，例如多路召回优化、粗排和精排模型迭代升级优化、模型多目标融合优化、重排多样性/兴趣探索优化、广告收入优化等等，可以说，在推荐系统中，万物皆可 A/B 实验。

需要指出的是，在进行推荐系统内容侧 A/B 实验时，例如信息流产品可能会做作者发布视频奖励、视频清晰度调整等，改变的是内容侧的属性，但业务中通常观察的是大盘用户侧的指标。在进行这类实验时，注意转化为用户侧实验并辅助观测内容侧指标来评估，权衡用户侧和内容侧的综合收益后再决策是否上线。以视频带货推荐为例，商家分润规则调整仅对实验用户生效，通过对比实验组与对照组的指标差异评估对大盘的影响的同时，可以创建并观察商家入驻率等内容侧指标的变化。在大盘收入指标不变、商家入驻率指标有提升，甚至大盘收入指标微跌、商家入驻率显著提升的情况下，都可以发布上线。

另一个注意点是，A/B 实验上线后，业务会频繁地查看分析实验指标。有的实验在开启后前几天可能出现指标下跌，这种情况下不建议立即关闭实验，因为在实际实践中，遇到过很多起初指标下跌、后续慢慢回涨的情况，比如在一些信息流平台的内容的多样性策略实验中，当增强兴趣探索后，短期可能会因为探索而出现用户不感兴趣的内容变多，导致消费时长下跌；但从长期来看。探索到更多用户兴趣后，用户黏性更强，用户消费时长也会慢慢回涨，且更有益于平台生态。因此在面对实验开始指标下跌的情况，一般会建议继续实验至少一周以上，覆盖观察一个完整周后再进行评估会更加准确。

在查看指标时，企业可以多关注实验指标下钻分析结果，例如关注不同性别、不同年龄层用户的指标变化，有的产品也会关注不同活跃度用户、特别是新用户和低活用户的指标变化趋势，因为这类用户更决定了产品未来的增长。在 DataTester 中，可以借助用户属性过滤功能，查看指标的下钻分析数据。

火山引擎 DataTester 作为火山引擎数智平台 VeDI 旗下的核心产品，源于字节跳动长期的技术和业务沉淀。目前，DataTester 已经服务了包括美的、华泰证券、博西家电、乐刻健身等知名品牌在内的上百家企业。这些企业通过不断进行的 A/B 测试和优化迭代，提升产品与服务质量，从而实现业务持续的优化和增长。