【原理到实战】实验异质性分析

1. 什么是实验的异质性什么是异质性

当我们看到如下实验平台指标结果时

在进行分析前，可能我们的第一直觉是这样的

经过异质性分析后，可能会发现实际情况是这样的

1. 概念解析与定义

一般来讲，HTE 的全称为 Heterogeneous Treatment Effects，即异质处理效应，意为实验中同一个 treatment 对不同的实验样本，得到的策略效果可能是不一样的。另外还有一些重要的概念需要大家理解

* 此处采用 Donald Rubin 提出的潜在因果框架（Potencial outcome）来对实验效果进行统计公式上的描述 [1]

* 由于业内并没有统一的定义，HTE、CATE、ITE 概念在一定程度上会有混用的情况，读者需要参考描述以及上下文综合判断名词的含义

1. 异质性分析对于业务的意义了解策略对于不同用户的不同效果，协助挖掘背后的业务逻辑，辅助迭代、进行新一轮的实验尝试寻找策略最优子人群，让整体无效的策略，有机会进行部分先推全；反之依然，让部分负向的策略，减少损失对实验结果建模后预测，对线上提供动态的最优人群支持

根据实验平台数据科学团队测算，以京东零售某产品线下 6 月运行中的实验为例，仅 23%左右的实验没有在实验人群视角发现异质性

1. 异质性分析方法概述异质性分析的维度选择对于分流单元的维度 X，当 X 满足以下条件时，可以作为异质性的维度进行后续分析 T \perp X，即分析维度与实验分流无关 (Unconfoundedness)分析工具化的常见简化方式：对于一个分流 ID，选取他在首次进入实验前一天的标签取值简单推导：

CATE_X

= E[Y_x(1) - Y_x(0)|x \in X] \qquad\qquad\qquad\qquad\qquad \dots (1)

= E[Y_x(1)|x \in X] - E[Y_x(0)|x \in X] \qquad\qquad\qquad\dots (2)

= E[Y_x(1)|T_i=1, x \in X] - E[Y_x(0)|T_i=0, x \in X] \dots (3)= E[Y_i|T_i=1, x \in X] - E[Y_i|T_i=0, x \in X] \qquad\dots (4)

T 是随机化的，T \perp Y, T \perp X，所以 E[Y_i(1)|x \in X]=E[Y_i(1)｜T_i=1,x \in X]，所以（3）成立

1. 异质性分析的维度分析 bad case 举例

1. 异质性分析的方法选择

1. 实验 CATE 下钻探索工具 MVP 版逻辑介绍

实验平台数据科学团队已经产出 python 工具包，可以半自动化的利用 6 行代码实现平台上实验异质性的探索分析，可以实现以下功能

1. 通过填写 YAML 配置，自动生成实验分析 SQL，并执行取数，目前包括自动获取试金石实验分流信息自动获取试金石实验指标信息解析实验 CATE 研究使用的用户标签表自动生成所有数据源的关联关系

2. 为实验 CATE 研究提供自动化工具，目前包括自动化生成实验目标指标的 CATE 差异最大化子人群提供调参接口，高级用户可自定义模型参数提供可视化的模型结果输出，高级用户可根据输出调节模型表现

3. 为实验的下钻分析提供探索、分析功能，目前包括 CATE 人群的实验效果统计检验 CATE 人群的多指标拆解 CATE 人群的特征描述

4. 实验异质性分析 show case 某真实实验 case 的 CATE 结果分析，此项目整体实验指标为负向不显著，但通过运行分析工具后发现，有两类子人群分别具有正向和负向的显著效果

1. 对于这些子人群，我们发现他们的用户画像具备不同的特征，在业务漏斗的实验结果也不一致，那么下次对频道再次进行迭代时，产品经理可以有针对性的对负向人群的体验进行优化