1 引言

双 11 期间上线某功能/活动，用户开通后参与能给大盘带来交易增量吗？业务第一反应大概率是说“会！”。那么，某活动/功能上线与大盘交易提升之间确实存在因果关系吗？如果真实存在，具体增量是多少？

2 分析过程

为了判断之间的具体联系，可以从 5 个步骤、2 种常见判断方法进行分析。

2.1 明确原因是什么

从前文可知，双 11 期间业务上线了某活动/功能。

2.2 明确结果是什么

给大盘带来了更多交易用户/订单/gmv。

2.3 确认 3 个要点

是否纯属巧合？不好评价，从趋势上来看，该活动上线之后大盘支付人数确实同期在提高；但正值大促，即使不做活动大盘交易大概率也会增长。

• 是否存在同时影响原因和结果的第三变量？ 一个参与了活动的用户，比起没有参加活动的用户，本身活跃度或成熟度更高，而平台活跃和交易成熟对是否产生购买是很关键的因素。所以，存在第三变量。

• 是否存在逆向因果关系？ 到底是活动刺激使更多用户下单？还是高概率下单的用户更有意愿参与这项活动？

2.4 制造反事实

如果双 11 期间没有上线这个活动，大盘交易量会不会减少？

2.5 调整到可比较状态

很明显，如果将大促期间参与了活动和不参与活动的人分成两组，因为参与活动的用户更活跃更成熟，而不参与活动的用户质量相对较差，这种明显选择性偏差的存在，导致直接对比是不公平的，不存在可比性。必须把两组数据调整到可以比较的状态，分组用户上要真正体现出“随机”性。常见的有 2 种判断方法，包括随机对照试验、双重查分法。可根据实际背景条件选择使用。

• 随机对照试验，即通常所说的 AB 测试。假设大促期间采用了 ab 实验，活动上线时将大盘所有用户随机分成的两组，一组能够参加活动（干预组），另一组不能参加活动（对照组），然后通过观察两组用户在大促期间的交易表现，对比得出最后的结论。

• 双重差分法，适用于没有做实际随机对照的场景，例如大促期间全量上线了该活动。第三部分会重点介绍该方法的使用。

3 双重差分法

3.1 基本思想

在没有随机实验的情况下去模拟一种随机分配实验。锁定目标用户，模拟实验分组，然后跟踪不同用户组在受活动干预前后的大盘交易表现。

前提假设

• 始终不开通参与的用户 VS 有开通/参与的用户的场域效应相同，即目标指标的趋势平行；

• 受到干预期间，没有出现影响目标值的“其他变化”。

图示

3.2 计算逻辑

3.3 具体步骤

3.3.1 分组

将全部的样本数据分为两大组，分组逻辑是根据是否受到营销活动干预。实验组：受到营销活动的干预影响，根据影响程度又可以分为「平销已开通」影响复购动支，「平销未开通->大促新开通」 影响开通和动支。对照组：没有受到同一活动的干预影响，表现为用户「始终未开通」。

3.3.2 目标选定

确定观测的目标指标，大盘动支率、户均大盘 gmv。

3.3.3 验证分组合理性

随机圈选平销期（10.10 为例）用户，观察不同分组在 10.10-11.11 期间的户均 gmv 变化趋势是否一致。

• 10.10 日新开通用户、10.11-11.10 期间中途新开通用户在临近 10.10 日阶段与波动较大，与其他分组差异较大，不作为后续分析可用分组。

• 始终未开通、始终开通、双 11 当天新开通三个分组的用户，在 10.10-11.10 期间变化趋势一致、差异基本保持稳定。可作为后续分析可用分组。

3.3.4 差分

验证完满足假设前提后进行两次差分，第一次差分得出干预前后总差异，第二次差分得到干预净效应。

• 第 1 次差分： 分别对在干预前后进行两次差分（相减）得到两组差值，代表实验组与对照组在干预前后分别的相对关系；

• 第 2 次差分： 对两组差值进行第二次差分，从而消除实验组与对照组原生的差异，最终得到干预带来的净效应。

3.3.5 方法小结

优点： 较为客观的去除场域影响，剥离出由营销活动干预下带来的大盘增量。能基本解决“大促期做的营销活动对于大盘的影响”。

不足：（1）大盘收益，同一时间段多个活动共同干预时，无法剥离单个活动效益大小。如，11.11 当天，针对新客既做了活动 1，又做了活动 2，则无法分别评估活动 1、活动 2 的效果。

（2）无法涵盖“所有”增量。如平销期与大促期之间新增用户、中途开通的用户表现。

作者：得物技术

链接：https://juejin.cn/post/7210584352635682874

来源：稀土掘金

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。