A/B 测试(2) 反事实与因果效应
判断一项产品改动是否有效,需要回答一个反事实问题:如果同一批用户没有经历这项改动,其结果将会有何不同?例如降低新手关卡难度后,某位用户次日仍然活跃,但该用户在原有难度下是否同样会保持活跃,仅凭已观测的结果无法确定。因果效应所比较的是同一研究对象在不同干预条件下的潜在结果,而在实际实验中我们通常只能观测其中一种。潜在结果模型为这种比较提供了统一的数学表达,使我们能够从个体层面的结果差异,进一步讨论干预对特定人群的平均影响。明确这一比较的含义及其观测限制,是理解 A/B 测试的估计目标、解释实验结果,以及讨论组间差异何时具有因果含义的基础。