Netflix 是如何做决策的? | 1. Netflix 的决策制定

这是 Netfilx 关于实验和决策的系列文章，系统介绍了实验对于 Netflix 的重要性，实验的最主要工具--A/B 测试，数据科学和文化在实验与决策过程中的重要性等。整个系列共七篇文章，这是第一篇。原文：Decision Making at Netflix^[1]

1. Netflix 的决策制定👈

2. 什么是 A/B 测试？

3. A/B 测试结果之假阳性和显著性统计

4. A/B 测试结果之假阴性和统计功效

5. 在做决定时建立信心

6. 实验是数据科学的主要关注点

7. 学习的文化

本文是关于 Netflix 如何基于 A/B 测试来做出决定的系列文章的第一篇。基于 A/B 测试做出的决策，Netflix 可以不断改进产品，从而不断提升会员的满意度，让我们的会员享受更快乐的生活。后续文章将涵盖 A/B 测试的基本统计概念、实验在 Netflix 中的作用、Netflix 如何投资基础设施来支持和扩大实验、以及实验文化在 Netflix 中的重要性。

从创立开始，Netflix 的理念就是将消费者的选择和控制置于娱乐体验的中心。作为一家公司，我们不断改进产品，以改善这一价值主张。例如，Netflix 的用户界面在过去十年中经历了彻底的转变。早在 2010 年，用户界面是静态的，只有有限的导航选项，呈现方式的灵感来自于 VCD 租赁店的显示器。如今，用户界面具有沉浸感和视频预览功能，导航选项更丰富但不那么突兀，方框设计更是充分利用了数字体验。

图 1：Netflix 2010 年(上)和 2020 年(下)的 TVUI

Netflix 做出了无数的决策，才从 2010 年的用户体验过渡到了我们今天的用户体验。在大显示屏上显示一个视频标题还是显示多个视频标题？视频比静态图像更好吗？如何在受限网络上提供无缝的视频传输体验？如何选择要显示哪些标题？导航菜单放在哪里，应该包含什么？这样的例子不胜枚举。

做决定很容易，难的是做正确的决定。我们如何才能确信做出的决定能够为现有会员提供更好的产品体验，并帮助发展新会员？按照传统的方式，Netflix 为了给会员提供更多乐趣，可以采用下面这些方式来决定如何改进产品：

• 让领导来做所有的决定。

• 聘请一些设计、产品管理、用户体验、流媒体交付和其他领域的专家，然后采纳他们最好的想法。

• 进行内部辩论，让我们最有魅力的同事的观点占据上风。

• 抄袭竞争对手。

图 2：不同的决策方式。从左上方顺时针方向:领导、内部专家、抄袭竞争对手、小组辩论

不管用上面的哪种方式，决策都是依赖于少数人的观点和看法。领导小组就几个人，小组辩论的规模也不大，Netflix 在每个需要做决策的领域也只有这么多专家，也许有几十个流媒体或相关服务可以作为我们的灵感来源。此外，这些模式并没有提供系统的方法来做决定或解决冲突的观点。

在 Netflix，我们相信有更好的方法来决定如何改善向用户提供的体验：A/B 测试。这是基于实验的方式，与由高管或专家组成的小团体参与决策不同，实验让我们所有成员都有机会通过自己的行动，就如何继续发展愉快的 Netflix 体验进行投票。

更广泛的说，A/B 测试，以及其他因果推理方法，如准实验^[2]，是 Netflix 使用科学方法^[3]为决策提供信息的方式。我们做出假设，收集实验数据，提供证据支持或反对我们的假设，然后得出结论并产生新的假设。正如我的同事 Nirmal Govind 所解释的^[4]，实验在支撑科学方法的演绎（从普遍原则中得出特定结论）和归纳（从特定结果和观察中形成普遍原则）的迭代循环中发挥着关键作用。

后续文章将深入 A/B 测试的细节，以及 Netflix 如何使用测试来为决策提供信息。

References:

[1] Decision Making at Netflix: https://netflixtechblog.com/decision-making-at-netflix-33065fa06481

[2] Quasi Experimentation at Netflix: https://netflixtechblog.com/quasi-experimentation-at-netflix-566b57d2e362

[3] Scientific Method: https://en.wikipedia.org/wiki/Scientific_method

[4] A/B Testing and Beyond Improving the Netflix Streaming Experience with Experimentation and Data: https://netflixtechblog.com/a-b-testing-and-beyond-improving-the-netflix-streaming-experience-with-experimentation-and-data-5b0ae9295bdf

你好，我是俞凡，在 Motorola 做过研发，现在在 Mavenir 做技术工作，对通信、网络、后端架构、云原生、DevOps、CICD、区块链、AI 等技术始终保持着浓厚的兴趣，平时喜欢阅读、思考，相信持续学习、终身成长，欢迎一起交流学习。

微信公众号：DeepNoMind