为什么——Judea Pearl的因果推断革命,从相关性到反事实
统计学有一条不成文的铁律:相关不等于因果。这句话每个学统计的人都背过,但绝大多数人——包括很多数据科学家——在实际工作中依然把相关性当因果用。
Judea Pearl 觉得这不可接受。他在 2018 年出版了《The Book of Why: The New Science of Cause and Effect》,核心论点用一句话概括:因果推断不是统计学的附属品,它是一门独立的科学,而统计学因为拒绝讨论因果,自己把自己变成了残缺的学科。
Pearl 不是泛泛而谈。他是贝叶斯网络的发明人,图灵奖得主,因果推断领域的奠基者。他用这本书向公众解释了他三十年来的学术成果:一套让数学能够谈论"因果"的严格语言。
一、因果阶梯:你能在哪一层思考?
Pearl 的核心框架是因果阶梯(Ladder of Causation),三个层级:
第一层:关联(Association)——"如果我观察到 X,Y 会怎样?"
- 这是传统统计学和当前大多数机器学习所在的层级
- P(Y | X)——在观察到 X 的条件下 Y 的概率
- 典型问题:购买尿布的顾客是否也更可能购买啤酒?
- 局限:只能发现共现模式,不能告诉你"如果干预 X,Y 会怎样"
- 这是因果推断的核心层级
- P(Y | do(X))——在主动干预 X 的条件下 Y 的概率
- 典型问题:如果我给患者用药 X,他的病会好吗?
- 关键区别:观察 ≠ 干预。观察到患者吃药,可能是因为他病重(混淆变量);干预是随机分配药物(像 RCT)
- 因果推断的最高层级
- P(Y_x | X', Y')——在观察到 X 发生、Y 发生的条件下,如果 X 没发生,Y 会是什么
- 典型问题:被告如果没犯罪,他还会被捕吗?患者如果没用这个药,他还会死吗?
- 这是法律、医学、道德推理的基础
二、do-算子:让数学能说"因为"
Pearl 的数学贡献是发明了 do-算子(do-operator)。
传统概率论里,P(Y|X) 和 P(Y|do(X)) 是不加区分的——统计学家认为"条件概率"就是条件概率,管你是观察到还是干预了。Pearl 说:不行,这两者完全不同。
- P(Y|X):观察到 X 发生后 Y 的概率。X 可能是被其他变量 Z 导致的,Z 同时影响 X 和 Y(混淆)。
- P(Y|do(X)):强制设定 X 的值(切断所有指向 X 的因果路径)后 Y 的概率。这消除了混淆。
> 这个操作的物理含义是:如果你能随机分配 X 的值(随机对照试验),你自然就实现了 do(X)。但很多时候你不能做 RCT——你不能随机让人吸烟、随机让人失业、随机让国家开战。Pearl 的 do-算子让你在观察数据上也能算出因果效应,只要你知道因果图的结构。
三、后门准则:找到因果效应的捷径
Pearl 最实用的工具之一是后门准则(Back-door Criterion)。
如果你想知道 X 对 Y 的因果效应,但有一堆混淆变量 Z 同时影响 X 和 Y,怎么办?
后门准则说:如果你能找到一个变量集合 Z,满足两个条件: 1. Z 不包含 X 的后代(不阻断 X→Y 的前门路径) 2. Z 阻断所有从 X 到 Y 的"后门路径"(即所有 X←...→Y 的路径)
那么你可以在 Z 的层面上做调整,得到 X 对 Y 的因果效应:
P(Y|do(X)) = Σ_z P(Y|X, Z=z) · P(Z=z)
这就是著名的后门调整公式。它告诉你:不需要做 RCT,只要你能测量到所有混淆变量,你就能从观察数据里算出因果效应。
> 这在医学、经济学、社会学里是革命性的。很多问题没法做 RCT(你不能随机让人吸烟),但如果有足够的观察数据和因果图,后门调整就能给出因果答案。
四、为什么统计学家曾拒绝因果?
Pearl 在书里对统计学界有一段尖锐的批评。他说,统计学在 20 世纪初因为和因果性的哲学纠葛(特别是 Pearson 和 Yule 的争论),主动放弃了"因果"这个概念,把它归为"形而上学"。统计学家从此只谈相关,不谈因果。
> 这导致了一个荒谬的局面:统计学能告诉你"吸烟和肺癌相关",但不能告诉你"吸烟导致肺癌"。后者需要因果推理,而统计学拒绝讨论。
Pearl 认为这种自我设限是灾难性的。他花了三十年建立因果推断的数学框架,证明因果是可以被严格数学化的——不需要哲学辩论,只需要图论和概率论的结合。
五、对 AI 的启示:LLM 缺的是什么?
Pearl 在书里和后续演讲中反复强调:当前的 AI(包括深度学习和大语言模型)缺乏因果推理能力。
LLM 能做什么?
- 从海量文本中学习统计关联(第一层)
- 模仿人类的语言模式
- 回答"如果 X 没发生,Y 会怎样"(第三层反事实)
- 在没见过的干预场景下做预测(第二层干预)
- 区分"观察到 X"和"做了 X"
Pearl 认为下一代 AI 需要的是因果世界模型——一个能回答"如果"和"为什么"的内部表征。这不是更大的 Transformer 能解决的,而是需要架构层面的突破。
六、因果推断的实战价值
因果推断不只是哲学,它在商业和政策中有巨大的实战价值:
A/B 测试的替代:互联网公司爱做 A/B 测试,但很多场景没法做(比如改定价策略不能随机)。因果推断让你用观察数据估算干预效果。
广告归因:用户看了广告后购买,是广告的功劳还是用户本来就要买?混淆变量(用户兴趣)让这个问题极难回答。因果推断的差分法(difference-in-differences)和合成控制法是标准工具。
医学证据:观察性数据发现"激素替代疗法降低心脏病风险",但 RCT 显示恰恰相反。混淆变量是"富裕女性更可能用激素替代疗法也更可能健康"。没有因果推理,观察数据会杀人。
政策评估:提高最低工资会减少就业吗?观察数据说会(低就业州工资低),但因果分析(Card & Krueger 的自然实验)说不会。这个结论改变了劳动经济学。
七、Pearl 的遗产
Pearl 的因果推断框架(结构因果模型 SCM + do-演算 + 反事实)不是唯一的因果推断方法——Donald Rubin 的潜在结果框架、James Robins 的边际结构模型都是有力的竞争者。但 Pearl 的框架有两个独特优势:
1. 图论表示:因果图让因果假设变得可视、可审计。你可以看着图说"我假设 X 不影响 Y 除了通过 Z"——这种透明性是纯公式表达做不到的。
2. 反事实的数学化:Pearl 用结构方程模型让反事实推理变得可计算。这在 Rubin 框架里是做不到的。
> Pearl 的终极愿景是:因果推断是"数据科学"从"曲线拟合"升级为"科学"的桥梁。没有因果推断,你只有数据;有了因果推断,你有了理解世界的工具。
读完这本书,你会发现自己看世界的方式变了。你不再满足于"X 和 Y 相关",你会问"为什么相关?是 X 导致 Y,还是 Y 导致 X,还是有第三个变量 Z 同时导致两者?"这种追问,就是科学思维的起点。
---
书籍:The Book of Why: The New Science of Cause and Effect (2018) 作者:Judea Pearl & Dana Mackenzie
文章里提到的所有书籍移步这里领取: https://b23.tv/4vCEQYn
#因果推断 #JudeaPearl #相关性不等于因果 #反事实 #经典书籍
🌟 智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。
🎁 领取 2000万 Tokens