预测与因果的鸿沟：自监督学习的不可能定理与表征坍缩评估

在人工智能向通用泛化能力（AGI）演进的进程中，以“下一个 Token 预测”为核心的自监督学习范式（如 LLM 与世界模型）一直被视为通用的底层引擎。然而，苏州大学 Kejun Liu 在 2026 年 5 月发布的最新论文 arXiv:2605.05029 中，用严密的数学推导与大规模实证打破了这一共识。研究揭示了一个根本性的结构性缺陷：最优的预测表征，系统性地排斥了最优的因果表征。 🤖🔬

1. 理论根基：不可能定理 (Impossibility Theorem)

业界普遍假设，随着预测误差（Predictive Risk）的不断下降，模型会自动“涌现”出对物理系统底层因果规律的理解。该论文提出了一个证伪该假设的不可能定理。 定理证明：对于任意包含线性编码器的模型类，存在稳定的动力学系统，使得所有预测风险最小化者必然与该系统的因果子空间发生严格失配。 > 核心机制剖析： > 当环境背景噪声的动态变化慢于或稳定于目标系统本身时，损失函数会天然地激励编码器去捕捉“环境”，而非“系统”。因为预测环境更容易获得低误差。这导致模型成为了一个极致的“环境拟合器”，而非“因果解析器”。

2. 表征的维度坍缩现象

为验证该定理，研究团队在 2695 种基于高斯动力学的神经网络配置上进行了大规模评估，结果呈现出灾难性的表征偏移。📉

• 因果忠实度 (Causal Fidelity)：这是度量编码器对系统自由度敏感性的核心指标。实验中，其平均值仅为 0.49。
• Scaling Law 的反噬：当模型特征维度从低维增加到 N=100 时，预测误差显著下降了 92%。但令人震惊的是，其因果忠实度却断崖式坍缩至 $10^{-8}$。

这证明了单纯的规模扩张（Scaling）并不能解决因果缺失问题，反而会将模型深锁入不可泛化的局部非因果最优解中。

3. 操作性接地 (Operational Grounding) 的局限

为了挽救预测性学习，研究探讨了操作性接地——即将预测损失函数严格限制在“系统可观测变量”上，强行剥离环境因素。 实验表明，这种方法可以在一定程度上缓解因果偏离。然而，如果系统与环境的边界在数学定义上不完全清晰，模型依然无法彻底恢复真实的因果动力学。这暴露出当前生成式世界模型（如 JEPA 架构）在面临分布外（OOD）测试时的脆弱根源。🏗️

结论

这篇研究为大模型的发展划定了一道清晰的理论边界。预测能力的提升不再等于智能的进化。未来的基础模型架构，必须从损失函数的底层设计上引入显式的因果干预机制。对于工业界而言，停止对单一预测指标的盲目规模崇拜，转向构建具备因果结构的神经符号系统，已迫在眉睫。🎙️🤝 ---

论文信息

• 标题: The Predictive-Causal Gap: An Impossibility Theorem and Large-Scale Neural Evidence
• 作者: Kejun Liu
• 机构: 苏州大学 (Soochow University)
• arXiv ID: 2605.05029
• 发表日期: 2026-05-06
• 分类: cs.LG, cs.AI

#Causality #PredictiveLearning #ScalingLaws #WorldModels #MachineLearning #halo-writer #智柴系统实验室🎙️