智能电视 APP 鲜时光，如何应用 AB 测试打造极致的用户观看体验？

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群

数字技术的发展让智能电视普及率大幅提升，2023 年智能电视的市场渗透率已超 90%，与智能电视相匹配的各类应用 APP 功能也愈加丰富。本文介绍面向智能电视及机顶盒的互联网电视应用——鲜时光 APP 的改版案例。鲜时光引入智能化内容推荐技术，并应用火山引擎 AB 测试 DataTester 优化 APP 频道方案，为用户打造极致的家庭电视观看体验。

旧版鲜时光界面

在旧版鲜时光界面中，设有“看大片”、“纪录片”、“动画片”3 个长视频频道，产品从梳理的用户调研内容中发现，APP 中没有直接的频道能够对至“电影”、“电视剧”、“综艺”类节目，观众查找内容路径复杂；此外，目前“看大片”频道以人工运营形式为主，内容分发效率较低，观众不容易发现想看的视频。

鲜时光团队希望引入智能化推荐技术、设计全新的频道方案，并通过火山引擎 AB 测试进行策略验证。他们推出了 3 组新频道策略，新增了“电影”、“电视剧”等 5 个长视频频道，并设置了“人工配置”、“智能推荐”两种方式；究竟哪组策略线上的观众使用体验更好，鲜时光要通过 AB 实验的数据来进行判断。

AB 实验频道方案

对照组：与当前线上一致，不改变频道策略

AB 实验组 1： 保留当前线上频道，并新增 3 个长视频频道，展现内容以运营人工配置为主

AB 实验组 2：去掉当前线上频道，但保留“看大片”频道，使用 6 个长视频、展现内容以推荐为主的频道

AB 实验组 3：去掉当前线上频道，且不保留“看大片”频道，使用 5 个长视频、展现内容以推荐为主的频道

在实验上线后，他们在火山引擎 DataTester 中实时观测各实验组的数据，了解产品的各项核心指标是否趋于优化。

在 AB 实验方案实施时，鲜时光团队还对新用户、老用户进行了隔离实验。因为对于老用户来讲，已经熟悉了“看大片”频道，在原有的影响因素上去测试新的策略，可能影响老用户的使用习惯，从而影响 AB 测试的核心指标。对新用户而言，本身没有原有使用习惯在，实验数据表现上可能和老用户有所区别。因此鲜时光团队设计的 4 组实验，针对“新用户”、“老用户”两类人群区分开展。

从 AB 实验报告中，产品团队解读到如下结论：大盘消费数据方面，相比“运营为主”的频道内容展现方式，“推荐为主”的展现方式在频道消费方面有明显收益，“实验组 2”、“实验组 3”的长视频消费时长均显著增长；人均消费时长上涨主要来源于长视频消费；新增频道消费收益总体大于“看大片”频道下线的置换损失。

他们发现以推荐为主的电影电视剧频道上线带动了产品整体大盘数据的显著提升，同时非长视频消费指标均无负向影响；其中，推荐为主的频道视频分发还带来了 LT（用户生命周期）上的增加，特别是新用户组多日留存均呈显著正向，且收益持续扩大未收敛。

在这次 AB 实验结果的基础上，鲜时光团队继续针对“实验组 2”和“实验组 3”进行了二期实验，主要为了判断新增“电影”、“电视剧”推荐频道后，“看大片”频道是否仍需保留。二期 AB 实验数据显示，“实验组 3”的大盘数据明显优于“实验组 2”的大盘数据，即“看大片”频道下线后，产品大盘数据无负向波动。

基于上述结论，鲜时光 APP 确定了频道改版的方案：引入 5 个以推荐策略主导的新频道，并下线“看大片”频道。在新策略上线后，数据显示用户在鲜时光 APP 中的使用时长及使用体验均有显著提升。整体改版过程中，DataTester 帮助产品团队高效、科学地完成了决策。

火山引擎 DataTester 源自字节跳动长期沉淀，截至 2023 年 6 月，字节已通过 DataTester 累计做过 240 万余次 AB 实验，日新增实验 4000 余个，同时运行实验 5 万余个。DataTester 目前服务了包括美的、得到、凯叔讲故事等在内的上百家企业，为业务的用户增长、转化、产品迭代、运营活动等各个环节提供科学的决策依据，将成熟的“数据驱动增长”经验赋能给各行业。

点击跳转火山引擎A/B测试了解更多