有条件进行A/B试验的情况下，A/B试验是探究因果关系的最佳方法；如果不具备A/B试验的条件，就需要考虑因果推断了
由此可见，相关关系不等于因果关系，但因果关系首先是相关关系。
上述辛普森悖论的思路就是基本的因果推断的分析思路，其研究要点有二：一是因果发现（Causal Discovery），即挖掘变量之间真正的因果关系，辨识并剔除伪因果关系；二是确定因果效应（Causal Effect），即确定实施干预后为观测值带来多大的提升。
在进行随机试验时，对照组和试验组仍然可能存在一些潜在的差异，这些潜在的差异可能是由数据噪声引起的。如果存在这种情况，可以利用试验前的无偏数据对试验核心指标进行修正（Controlled-Experiment Using Pre-Experiment Data，CUPED）[10]，而双重差分法（Difference-in-Differences）是CUPED的一种特殊情况。当然在实际工作中完全随机化的条件很难达到，从而会存在一定的潜在偏差，这时候可以通过倾向性得分匹配（Propensity Score Matching ，PSM）或者逆概率加权（Inverse Probability Weighting，IPW）进行因果推断。
随机试验在实施过程中可能受到多种因素的影响，例如，试验组的样本并未接受干预，如果只分析试验组中接受干预的样本数据，无疑会存在“幸存者偏差”。为了避免“幸存者偏差”，可以考虑将对照组与试验组进行比较，但是试验组中未接受干预的样本会削弱试验效果。面对这种情况可以使用依从者的平均因果效应（Complier Average Causal Effect，CACE）法进行因果推断[11,12]，该方法是工具变量（Instrumental Variable）法的一种[12,13]。
https://zhuanlan.zhihu.com/p/604424384 双重差分法基本原理及其应用
https://zhuanlan.zhihu.com/p/366350086 双重差分法(DID)入门必看
https://www.zhihu.com/question/24322044 什么是双重差分模型（difference-in-differences model）？
https://blog.csdn.net/qq_20001941/article/details/104556748 cuped
https://www.zhihu.com/question/487925004 有哪些方法可以帮助AB测试显著更快一些？
https://booking.ai/how-booking-com-increases-the-power-of-online-experiments-with-cuped-995d186fff1d cuped
https://zhuanlan.zhihu.com/p/389080406 实验评估方法-CUPED
实验结果评估准则
https://zhuanlan.zhihu.com/p/340045728
https://zhuanlan.zhihu.com/p/334574642 一文看懂统计学、T检验、F检验、卡方检验
https://zhuanlan.zhihu.com/p/35423404 机器学习各种熵：从入门到全面掌握
https://zhuanlan.zhihu.com/p/340045728 实验结果评估准则
https://www.cnblogs.com/gogoSandy/p/11749262.html AB实验的高端玩法系列2 - 更敏感的AB实验, CUPED
网友评论