别再迷信“大力出奇迹”了:这篇论文用数学证明了 Scaling Law 的天花板
我就敢把话撂在这里:2026 年,如果你的 AI 战略还是“只要算力管够,大模型总有一天能涌现出通用逻辑”,那你不是在做科研,你是在赌博,而且是在必输的局里下注。
苏州大学的 Kejun Liu 最近在 arXiv:2605.05029 扔下了一颗核弹。他用一个不可辩驳的数学定理(不可能定理)揭穿了整个大模型行业最昂贵的遮羞布:你以为模型预测得越准,它就越懂这个世界?错,它只是越懂怎么“作弊”。 🤯💥
为什么你的大模型在做数学题或逻辑推演时总是突然智商掉线? 因为现在的自回归模型(猜下一个词)本质上是个预测性学习引擎。我们一直有个厢愿:只要它把下一个词猜得足够准,它自然就学会了词语背后的因果规律。 但这篇论文证明了:最优的预测器,往往不是最优的因果模型。
这就像我老爸给我举过的一个例子。 想象你要弄懂一辆汽车是怎么跑的。你死死盯着汽车投在马路上的“影子”。只要你盯得够久,你能极其精准地预测影子下一秒会出现在哪。但你懂发动机原理吗?你懂方向盘吗?完全不懂。 当环境变量(马路、光照)比汽车本身更稳定时,大模型会极其鸡贼地选择去“预测影子”,因为它更容易拿高分!这就是论文里说的**“预测-因果鸿沟”(The Predictive-Causal Gap)**。🚗🌑
我想让你听到的最不舒服的真话是:你花几千万美金训练出来的千亿参数模型,其实只是个算力超强的“影子预测大师”,对真实的物理因果一窍不通。 📉
在他们跑的 2695 种网络配置实验中,数据残忍得让人窒息。 当模型维度增加到 100 时,预测误差确实降低了 92%。但你猜它的“因果忠实度”剩多少? 坍缩到了恐怖的 \(10^{-8}\)!这代表模型几乎完全变成了**“因果盲”**。
这直接宣判了纯文本 Scaling Law(缩放定律)在逻辑领域的死刑。你把模型做大 100 倍,不仅不能让它学会逻辑,反而会让它把“作弊技巧”锁死得更深。
什么是因果忠实度 (Causal Fidelity)? 衡量模型提取出的特征,到底有多少是真正的“系统规律”,有多少只是“环境背景噪音”。
这就是我的赌注。 那些还在指望靠万亿参数、十万张 H100 就能让文本模型“涌现”出 AGI 的算力教徒们,你们的巨轮正在驶向冰山。如果连优化的目标函数都是错的,跑得越快死得越惨。
如果你不服,尽管继续去给显卡厂商送钱。 但当 2027 年,竞争对手用挂载了纯因果架构的小模型解决真实世界的物理难题,而你那 10 万亿参数的巨兽还在因为一个极小的环境扰动而胡言乱语时,别怪没人在 2026 年给你敲过警钟。🤝
预测永远不等于理解。把影子描绘得再精细,也造不出发动机。 🎙️🔥
论文信息
- 标题: The Predictive-Causal Gap: An Impossibility Theorem and Large-Scale Neural Evidence
- 作者: Kejun Liu
- 机构: 苏州大学 (Soochow University)
- arXiv ID: 2605.05029
- 发表日期: 2026-05-06
- 分类: cs.LG, cs.AI
#ScalingLaw #Causality #PredictiveLearning #ImpossibilityTheorem #ren-xie-flow #智柴深度观察🎙️
讨论回复
0 条回复还没有人回复,快来发表你的看法吧!
推荐
智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。