一个数据科学家的困惑
想象这样一个场景。
一位流行病学家想研究某类药物对心血管疾病的因果效应。她手上有十万条电子病历记录——年龄、性别、血压、用药史、结局。按照教科书的标准流程，她需要估计两个"干扰函数"（nuisance function）：一个是给定协变量后用药的概率（倾向性评分），另一个是给定协变量后的健康结局预测。
她很自然地想到：用 XGBoost。这个梯度提升树模型在 Kaggle 上赢过无数比赛，预测精度碾压传统统计模型。她调好参数，交叉验证误差极低，满意地把它塞进 Double Machine Learning（DML）框架，算出因果效应。
但置信区间的覆盖率只有 78%。理论上应该是 95%。
她换回简单的广义可加模型（GAM），预测误差明显更高，但因果估计的覆盖率反而回到了 93%。
到底哪里出了问题？
这正是 arXiv:2609.00071 这篇论文讨论的核心问题。作者 Cong Cao（耶鲁大学生物统计系）提出了一个在因果推断领域被长期忽视的问题：当我们用预测误差来评价干扰函数的好坏时，我们实际上在用温度计量血压。
预测误差和因果误差：两个不同的东西
先说清楚什么是干扰函数。
在观察性研究中，因果效应 τ 的识别依赖于两个条件期望：一个是协变量 C 到暴露 X 的回归 m₀(C) = E[X|C]，另一个是协变量 C 到结局 Y 的回归 g₀(C) = E[Y|C]。这两个函数之所以叫"干扰函数"，是因为它们本身不是研究对象——我们关心的是 τ——但它们挡在路上，必须被估计掉。
经典的双机器学习框架（Chernozhukov et al., 2018）的做法是：用任意机器学习模型估计 m₀ 和 g₀，然后把残差 X - m̂(C) 和 Y - ĝ(C) 做回归，得到 τ̂。这个框架的优雅之处在于——只要干扰函数估计够快地收敛，τ̂ 就有 √n 渐近正态性。
关键词："够快地收敛"。
问题来了：预测误差衡量的是 m̂(C) 和 m₀(C) 的均方误差，但 DML 的渐近性质要求的是一种更微妙的"局部平衡"。具体来说，残差 X - m̂(C) 需要和 m̂(C) 的估计误差在样本层面正交。预测误差低不等于这种正交性好。
这就像你考驾照。预测误差是"你能不能看清路标"，因果误差是"你能不能在看清路标的同时不撞车"。前者是后者的必要条件，但远不充分。
一个反直觉的实验
论文设计了一个精巧的蒙特卡洛模拟。
设置：n=1000 的样本，两种场景（独立观测 vs 聚类观测），四种干扰函数估计方法：
- OLS（线性回归）
- GAM（广义可加模型）
- XGBoost
- DML-XGBoost（XGBoost + DML 框架）
| 方法 | 预测 RMSE | 因果 bias | CI 覆盖率 |
|---|---|---|---|
| OLS | 0.342 | 0.018 | 94.8% |
| GAM | 0.287 | 0.012 | 93.6% |
| XGBoost | 0.198 | 0.024 | 78.3% |
| DML-XGBoost | 0.203 | 0.009 | 92.1% |
XGBoost 的预测误差最低，但它的因果置信区间覆盖率最差。直接用 XGBoost 估计干扰函数，CI 覆盖率从理论上的 95% 暴跌到 78.3%——这意味着，你算出来的置信区间有 21.7% 的概率不包含真实因果效应。在医学决策中，这是灾难性的。
而 DML-XGBoost 虽然预测误差略高于纯 XGBoost，但 CI 覆盖率回到了 92.1%。DML 的正交化机制在这里发挥了关键作用——它对干扰函数的估计误差做了二阶修正，使得即使 m̂ 和 ĝ 有偏差，τ̂ 仍然近似无偏。
但 DML 不是万能的。当干扰函数高度非线性时，DML-XGBoost 的 CI 覆盖率也会掉到 88% 以下。
联合误差：一个被忽视的维度
论文最精彩的贡献是提出了"联合误差"（joint error）的概念。
传统的预测误差是边际的——分别看 m̂ 和 ĝ 的 RMSE。但因果效应 τ̂ 同时依赖两个干扰函数。如果 m̂ 和 ĝ 的误差高度相关，即使各自的 RMSE 都很低，联合误差也可能很大。
作者定义了一个联合误差度量 D_joint = ||m̂ - m₀||² + ||ĝ - g₀||² + 2·Cov(m̂ - m₀, ĝ - g₀)。第三项是关键——它捕捉了两个估计器的误差是否同向。
实验结果：D_joint 与因果 bias 的 Spearman 相关系数在 -0.111 到 0.11 之间。这个相关性弱得令人沮丧。
为什么？
因为因果 bias 不仅取决于干扰函数的误差大小，还取决于误差的方向和结构。如果 m̂ 在某些协变量区域高估、在另一些区域低估，而 ĝ 的误差恰好抵消了这些偏差，因果 bias 可以很小。反之，即使两个估计器各自的误差都很小，如果它们的误差方向一致，bias 也可能很大。
这就像两个人划船。每个人的力气都很大（低 RMSE），但如果他们不同步（误差同向），船会原地打转。
聚类数据：更复杂的陷阱
论文还测试了聚类数据场景——比如多家医院的数据，同一医院的患者特征相似。
在聚类数据中，干扰函数的估计误差有两个来源：聚类间变异和聚类内变异。XGBoost 在聚类间的预测误差很低，但在聚类内有系统性偏差——因为树模型倾向于在叶子节点合并相似样本，导致同一聚类的残差同号。
这种同号残差直接破坏了 DML 的正交化假设。CI 覆盖率从独立场景的 92.1% 掉到聚类场景的 84.7%。
修复方案不是换模型，而是换估计框架——用聚类感知的交叉拟合（cluster-aware cross-fitting），确保训练集和估计集来自不同的聚类。
这篇论文的深层启示
这篇论文的意义远超因果推断的技术细节。它触及了机器学习和统计推断之间的一个根本张力。
机器学习的核心信条是"预测为王"。从 ImageNet 到 GPT，我们用预测精度评价一切。这个信条在纯预测任务上无懈可击——如果目标是分类猫和狗，预测精度就是终极指标。
但因果推断不是纯预测任务。它要求的是一种"局部几何性质"——干扰函数的估计误差必须在特定方向上被消除。这个性质无法用全局预测误差来衡量。
这就像你不能用 GPA 来评价一个研究员——GPA 衡量的是"学过什么"，研究需要的是"能发现什么"。两者相关，但远不等价。
论文给出的实践建议是：
1. 不要用预测误差作为干扰函数选择的唯一标准。XGBoost 预测最好但因果最差。 2. DML 框架是必要的保护层。它的正交化机制能把干扰函数的误差从因果估计中部分消除。 3. 在聚类数据中，必须用聚类感知的交叉拟合。否则 CI 覆盖率会严重低估。 4. 联合误差比边际误差更有信息量，但仍然不够——需要开发直接针对因果目标的模型选择标准。
一个更深的哲学问题
这篇论文让我想到一个更深的哲学问题：当我们用代理指标评价一个系统时，代理指标和真实目标之间的差距有多大？
这个问题在 AI 安全领域也很尖锐。我们用 benchmark 评价模型能力，但 benchmark 和真实任务之间的差距可能很大。我们用 RLHF 对齐模型，但奖励模型和人类真实偏好之间的差距也可能很大。
"预测误差不够用"这个结论，本质上是在说：你优化的目标和你真正想要的目标之间，可能存在系统性偏差。这个洞察适用于所有用代理指标做决策的场景——从医学诊断到自动驾驶到金融风控。
论文没有给出最终解决方案——作者坦言"我们还没有一个好的、直接针对因果目标的模型选择标准"。但指出问题本身就是贡献。在科学中，正确的诊断往往比错误的处方更有价值。
下次你看到一篇论文声称"用 XGBoost 估计干扰函数，预测误差极低"时，记得问一句：但因果置信区间的覆盖率是多少？
如果作者答不上来，那这篇论文的因果结论可能需要打折。
---
论文信息：Cong Cao. "When Prediction Error Is Not Enough: Evaluating Nuisance-Function Prediction for Causal Estimation." arXiv:2609.00071. 代码开源：https://github.com/congca2/nuisance-function-prediction-causal-estimation