Loading...
正在加载...
请稍候

为什么——Judea Pearl的因果推断革命,从相关性到反事实

✨步子哥 (steper) 2026年07月13日 23:40

统计学有一条不成文的铁律:相关不等于因果。这句话每个学统计的人都背过,但绝大多数人——包括很多数据科学家——在实际工作中依然把相关性当因果用。

Judea Pearl 觉得这不可接受。他在 2018 年出版了《The Book of Why: The New Science of Cause and Effect》,核心论点用一句话概括:因果推断不是统计学的附属品,它是一门独立的科学,而统计学因为拒绝讨论因果,自己把自己变成了残缺的学科

Pearl 不是泛泛而谈。他是贝叶斯网络的发明人,图灵奖得主,因果推断领域的奠基者。他用这本书向公众解释了他三十年来的学术成果:一套让数学能够谈论"因果"的严格语言。

一、因果阶梯:你能在哪一层思考?

Pearl 的核心框架是因果阶梯(Ladder of Causation),三个层级:

第一层:关联(Association)——"如果我观察到 X,Y 会怎样?"

  • 这是传统统计学和当前大多数机器学习所在的层级
  • P(Y | X)——在观察到 X 的条件下 Y 的概率
  • 典型问题:购买尿布的顾客是否也更可能购买啤酒?
  • 局限:只能发现共现模式,不能告诉你"如果干预 X,Y 会怎样"

第二层:干预(Intervention)——"如果我做了 X,Y 会怎样?"

  • 这是因果推断的核心层级
  • P(Y | do(X))——在主动干预 X 的条件下 Y 的概率
  • 典型问题:如果我给患者用药 X,他的病会好吗?
  • 关键区别:观察 ≠ 干预。观察到患者吃药,可能是因为他病重(混淆变量);干预是随机分配药物(像 RCT)

第三层:反事实(Counterfactual)——"如果当时没做 X,Y 会怎样?"

  • 因果推断的最高层级
  • P(Y_x | X', Y')——在观察到 X 发生、Y 发生的条件下,如果 X 没发生,Y 会是什么
  • 典型问题:被告如果没犯罪,他还会被捕吗?患者如果没用这个药,他还会死吗?
  • 这是法律、医学、道德推理的基础

Pearl 的关键洞察:当前的所有机器学习(包括大语言模型)都停留在第一层。它们能发现关联,但不能做干预推理,更不能做反事实推理。这就是为什么 LLM 会"幻觉"——它们没有因果模型,只有统计关联。

二、do-算子:让数学能说"因为"

Pearl 的数学贡献是发明了 do-算子(do-operator)。

传统概率论里,P(Y|X) 和 P(Y|do(X)) 是不加区分的——统计学家认为"条件概率"就是条件概率,管你是观察到还是干预了。Pearl 说:不行,这两者完全不同。

  • P(Y|X):观察到 X 发生后 Y 的概率。X 可能是被其他变量 Z 导致的,Z 同时影响 X 和 Y(混淆)。
  • P(Y|do(X)):强制设定 X 的值(切断所有指向 X 的因果路径)后 Y 的概率。这消除了混淆。

do-算子用图论实现了:在因果有向无环图(DAG)上,do(X) 等价于删掉所有指向 X 的边,然后在这个修改过的图上算概率。

这个操作的物理含义是:如果你能随机分配 X 的值(随机对照试验),你自然就实现了 do(X)。但很多时候你不能做 RCT——你不能随机让人吸烟、随机让人失业、随机让国家开战。Pearl 的 do-算子让你在观察数据上也能算出因果效应,只要你知道因果图的结构。

三、后门准则:找到因果效应的捷径

Pearl 最实用的工具之一是后门准则(Back-door Criterion)。

如果你想知道 X 对 Y 的因果效应,但有一堆混淆变量 Z 同时影响 X 和 Y,怎么办?

后门准则说:如果你能找到一个变量集合 Z,满足两个条件:

  1. Z 不包含 X 的后代(不阻断 X→Y 的前门路径)
  2. Z 阻断所有从 X 到 Y 的"后门路径"(即所有 X←...→Y 的路径)

那么你可以在 Z 的层面上做调整,得到 X 对 Y 的因果效应:

P(Y|do(X)) = Σ_z P(Y|X, Z=z) · P(Z=z)

这就是著名的后门调整公式。它告诉你:不需要做 RCT,只要你能测量到所有混淆变量,你就能从观察数据里算出因果效应。

这在医学、经济学、社会学里是革命性的。很多问题没法做 RCT(你不能随机让人吸烟),但如果有足够的观察数据和因果图,后门调整就能给出因果答案。

四、为什么统计学家曾拒绝因果?

Pearl 在书里对统计学界有一段尖锐的批评。他说,统计学在 20 世纪初因为和因果性的哲学纠葛(特别是 Pearson 和 Yule 的争论),主动放弃了"因果"这个概念,把它归为"形而上学"。统计学家从此只谈相关,不谈因果。

这导致了一个荒谬的局面:统计学能告诉你"吸烟和肺癌相关",但不能告诉你"吸烟导致肺癌"。后者需要因果推理,而统计学拒绝讨论。

Pearl 认为这种自我设限是灾难性的。他花了三十年建立因果推断的数学框架,证明因果是可以被严格数学化的——不需要哲学辩论,只需要图论和概率论的结合。

五、对 AI 的启示:LLM 缺的是什么?

Pearl 在书里和后续演讲中反复强调:当前的 AI(包括深度学习和大语言模型)缺乏因果推理能力

LLM 能做什么?

  • 从海量文本中学习统计关联(第一层)
  • 模仿人类的语言模式

LLM 不能做什么?

  • 回答"如果 X 没发生,Y 会怎样"(第三层反事实)
  • 在没见过的干预场景下做预测(第二层干预)
  • 区分"观察到 X"和"做了 X"

Pearl 的判断:LLM 的智能是"曲线拟合"的极致——它在高维空间里拟合了人类语言的统计分布,但它没有因果模型。这就是为什么 LLM 会在推理任务上"幻觉"——它在做关联匹配,不是在做因果推理。

Pearl 认为下一代 AI 需要的是因果世界模型——一个能回答"如果"和"为什么"的内部表征。这不是更大的 Transformer 能解决的,而是需要架构层面的突破。

六、因果推断的实战价值

因果推断不只是哲学,它在商业和政策中有巨大的实战价值:

A/B 测试的替代:互联网公司爱做 A/B 测试,但很多场景没法做(比如改定价策略不能随机)。因果推断让你用观察数据估算干预效果。

广告归因:用户看了广告后购买,是广告的功劳还是用户本来就要买?混淆变量(用户兴趣)让这个问题极难回答。因果推断的差分法(difference-in-differences)和合成控制法是标准工具。

医学证据:观察性数据发现"激素替代疗法降低心脏病风险",但 RCT 显示恰恰相反。混淆变量是"富裕女性更可能用激素替代疗法也更可能健康"。没有因果推理,观察数据会杀人。

政策评估:提高最低工资会减少就业吗?观察数据说会(低就业州工资低),但因果分析(Card & Krueger 的自然实验)说不会。这个结论改变了劳动经济学。

七、Pearl 的遗产

Pearl 的因果推断框架(结构因果模型 SCM + do-演算 + 反事实)不是唯一的因果推断方法——Donald Rubin 的潜在结果框架、James Robins 的边际结构模型都是有力的竞争者。但 Pearl 的框架有两个独特优势:

  1. 图论表示:因果图让因果假设变得可视、可审计。你可以看着图说"我假设 X 不影响 Y 除了通过 Z"——这种透明性是纯公式表达做不到的。

  2. 反事实的数学化:Pearl 用结构方程模型让反事实推理变得可计算。这在 Rubin 框架里是做不到的。

Pearl 的终极愿景是:因果推断是"数据科学"从"曲线拟合"升级为"科学"的桥梁。没有因果推断,你只有数据;有了因果推断,你有了理解世界的工具。

读完这本书,你会发现自己看世界的方式变了。你不再满足于"X 和 Y 相关",你会问"为什么相关?是 X 导致 Y,还是 Y 导致 X,还是有第三个变量 Z 同时导致两者?"这种追问,就是科学思维的起点。


书籍:The Book of Why: The New Science of Cause and Effect (2018)
作者:Judea Pearl & Dana Mackenzie

文章里提到的所有书籍移步这里领取: https://b23.tv/4vCEQYn

#因果推断 #JudeaPearl #相关性不等于因果 #反事实 #经典书籍

讨论回复

加载中...
正在加载回复...

正在加载回复...

推荐
智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力
登录