庄家的盛宴：当AI的预测变成一场必输的赌局

——解读《Dutch Books for Language Models》
arXiv: 2609.02797 | 作者: Isaiah Andrews, Suproteem Sarkar

🎰 序幕：一位老赌徒的智慧

让我们从一个古老的故事开始。

17世纪的阿姆斯特丹，运河边的一家昏暗酒馆里，坐着一个满头银发的老赌徒。他一生未尝一败——不是因为他运气好，而是因为他掌握了一个秘密。

这个秘密叫做**"荷兰赌"（Dutch Book）**。

老赌徒从不自己下注。他只做一件事：找到那些对概率判断不一致的人，然后从他们身上赚钱。方法极其简单：

假设一个人认为"明天会下雨"的概率是60%，同时认为"明天不会下雨"的概率也是50%。等等，60% + 50% = 110%，超过了100%。这意味着什么？

这意味着这个人的概率判断是不自洽的。老赌徒看到了机会：

• 他花50块钱买"明天会下雨"的赌注（赔率1:1，因为对方认为概率是50%）。
• 他同时花40块钱买"明天不会下雨"的赌注（赔率1:1，因为对方认为概率是60%，所以"不会下雨"的隐含赔率是40%）。

等等，让我重新算。如果"下雨"的概率是60%，那么公平的赔率应该是：下注60块，赢了拿回100块（赚40）。如果"不下雨"的概率是50%，那么公平的赔率是：下注50块，赢了拿回100块（赚50）。

但这个人同时接受这两个赌约——意味着老赌徒可以这样操作：

• 押50块赌"会下雨"，押50块赌"不会下雨"。
• 无论明天下不下雨，老赌徒都会拿回100块。
• 但他只花了100块赌注......等等，这看起来是公平的？

不对。让我重新想。问题的关键是：这个人的概率判断加起来超过了100%。 这意味着他认为两个互斥事件的概率之和大于1——在概率论中，这是不可能的。一个理性的概率判断必须满足：P(A) + P(非A) = 100%。

如果他认为P(下雨)=60%且P(不下雨)=50%，那么P(下雨)+P(不下雨)=110%。老赌徒可以：

• 以50块的赔率（对应50%概率）买"不下雨"的赌注——如果不下雨，赢得100块。
• 以40块的赔率（对应40%概率，即100%-60%）买"下雨"的赌注——如果下雨，赢得100块。

总成本：50 + 40 = 90块。
无论结果如何，回报：100块。
净利润：10块。

这是无风险的套利。 老赌徒不需要知道明天到底下不下雨。他只需要找到概率判断不自洽的傻瓜，就能稳赚不赔。

这个无风险套利的赌局组合，就是"荷兰赌"。它是概率论中最优雅的悖论之一——它用最简单的算术告诉我们：如果你的概率判断不自洽，就有人能从你身上免费赚钱。

现在，把这个概念搬到2026年。不是找赌徒，而是找大型语言模型（LLM）。

🧮 第一部分：概率——比数字更深的东西

在深入论文之前，我们需要搞清楚一个问题：LLM生成的"概率"到底是什么？

🎲 LLM的概率世界观

当你问ChatGPT："明天纽约下雨的概率是多少？"

它可能会回答："根据历史天气数据，明天纽约下雨的概率大约是30%。"

这个"30%"是什么？

首先，它不是真正的概率——至少不是频率学派意义上的概率。LLM没有访问实时天气数据的能力（除非接了API）。它的"30%"是基于训练数据中"纽约+明天+下雨"这些词共现模式的统计推断。简单来说，它在说："在我的训练数据中，当有人问类似的问题时，回答'30%'是最常见的。"

但这只是表象。更深层的问题是：LLM的"概率输出"是否满足概率论的基本公理？

概率论有三条基本公理，由科尔莫戈罗夫在1933年形式化：

1. 非负性：任何事件的概率 ≥ 0。
2. 规范性：必然事件的概率 = 1（即100%）。
3. 可加性：互斥事件的并集的概率 = 各事件概率之和。

这三条公理看似简单，但它们构成了整个概率论的基石。如果一个系统的概率判断违反了这些公理，它就是**"非概率的"（non-probabilistic）**——它输出的数字虽然看起来像概率，但在数学上不是概率。

🃏 从德·菲内蒂到现代AI

"荷兰赌"的概念最早由意大利数学家布鲁诺·德·菲内蒂（Bruno de Finetti）在1931年严格证明。他证明了一个惊人的定理：

一个主体的概率判断是"相干的"（coherent）——即不可能被构造荷兰赌——当且仅当它满足概率论的三条公理。

这就是著名的**"荷兰赌定理"（Dutch Book Theorem）**。

这个定理的美妙之处在于，它把抽象的数学公理和具体的、可操作的检验方法联系了起来。你不需要懂测度论或σ-代数。你只需要做一件事：尝试构造一个荷兰赌。 如果你能构造出来，那么对方的概率判断就是不相干的（incoherent）。

这篇论文的核心创新，就是把德·菲内蒂的检验方法应用到了LLM身上。

🔬 第二部分：论文的方法——如何用数学抓住AI的"概率谎言"

论文的方法论非常精巧。让我一步一步拆解。

📈 实验设计：从股票收益数据生成事件

论文没有选择让LLM预测"抽象"的概率——比如"明天会下雨吗？"这种问题的ground truth很难获得。相反，作者们选择了一个聪明的方案：用股票收益数据生成概率预测任务。

具体做法：

1. 选取真实的股票收益数据（历史数据，LLM在训练时可能见过也可能没见过）。
2. 从数据中生成一系列"事件"（events）。比如：
   • "某股票明天的收益是否大于1%？"
   • "某股票后天的收益是否为正？"
   • "某股票本周的累计收益是否超过5%？"
3. 这些事件之间有逻辑关系。比如：如果"明天收益>1%"发生了，那么"明天收益为正"必然也发生（因为>1%意味着>0%）。

关键就在这里：逻辑关系创造了概率约束。

如果A implies B（A蕴含B），那么P(A) ≤ P(B)。因为A发生的时候B一定发生，所以A的概率不可能超过B的概率。这是一个由逻辑推导出来的数学约束——不依赖于任何数据，不依赖于任何模型，是纯粹的数学真理。

如果LLM对P(A)和P(B)的预测违反了P(A) ≤ P(B)，那么它的概率判断就是不相干的——我们就可以构造一个荷兰赌。

🧮 线性规划：自动化的套利机器

现在问题来了：给定一组LLM生成的概率预测，和这些预测之间的逻辑关系，我们如何自动地计算最大的荷兰赌利润？

论文的答案是：线性规划（Linear Programming）。

线性规划是一种优化技术，可以在一组线性约束条件下，找到目标函数的最大值或最小值。在这个场景下：

• 变量：每个事件对应的赌注金额（正数表示"买这个事件发生"，负数表示"卖这个事件发生"——即赌它不发生）。
• 约束：逻辑关系。比如如果A蕴含B，那么任何赌注组合都必须满足这个逻辑约束。
• 目标函数：在所有可能的事件结果下，利润的最小值。我们要最大化这个"最小利润"——也就是寻找无风险套利的最大收益。

如果线性规划的最优解大于0，恭喜——我们找到了一个荷兰赌。LLM的概率判断是不相干的。

如果最优解等于0，说明LLM的概率判断是相干的——至少在这些事件和逻辑关系下，没有人能从它身上无风险套利。

这个方法的天才之处在于：它不需要知道事件的真实结果。 我们不需要等"明天"到来才知道LLM的预测对不对。我们只需要LLM的概率预测和事件之间的逻辑关系，就能立即判断这些预测是否自相矛盾。

这解决了概率评估中的一个老大难问题：如何在没有ground truth的情况下评估概率预测的质量？ 传统的评分规则（如对数评分、Brier评分）都需要知道事件的实际结果。但荷兰赌检验不需要——它检验的是内部一致性，而不是外部准确性。

📊 核心发现：LLM的概率预测，到底有多不相干？

论文在多个LLM上运行了这个检验，结果令人震惊——也令人担忧。

发现1：LLM的概率预测存在"大量"（substantial）的不相干性。

几乎所有测试的LLM都表现出了显著的概率不相干。这意味着：LLM输出的"概率"，在数学上往往不是真正的概率。 它们是一组看起来像概率的数字，但不满足概率论的基本约束。

发现2：逻辑关系越丰富，不相干性越强。

当事件之间的逻辑关系更复杂时——比如涉及多个股票的联合事件、条件概率、嵌套逻辑——LLM的不相干性显著增加。这说明LLM在处理复合概率推理时特别脆弱。

发现3：无关的上下文细节，能让不相干性增加一个数量级。

这是最令人不安的发现。论文发现，仅仅在提示中加入一些与概率判断无关的上下文细节——比如股票所属公司的行业描述、CEO的名字、最近的新闻标题——就能让LLM的概率不相干性暴增。

这意味着什么？LLM的概率输出对它读到的一切信息都敏感——包括那些理论上不应该影响概率判断的信息。它不是一个"冷静的贝叶斯推理机"，而是一个被上下文强烈扰动的统计模式匹配器。

🌊 第三部分：为什么这很重要——从赌场到现实世界

你可能会说："好吧，LLM的概率预测有点自相矛盾。所以呢？它只是一个聊天机器人，又不是在做真正的金融决策。"

但这个"所以呢"背后，隐藏着一系列严重的现实问题。

🏥 场景一：医疗决策支持

假设一个医院使用LLM来辅助医生评估治疗方案。医生问："这个手术成功的概率是多少？"LLM回答："根据文献，成功率约为85%。"

然后医生问："如果病人的年龄超过70岁，成功率是多少？"LLM回答："对于70岁以上的患者，成功率约为75%。"

最后医生问："如果病人既有糖尿病又超过70岁，成功率是多少？"LLM回答："这种情况下，成功率约为80%。"

等等——80%？糖尿病+高龄患者的成功率怎么可能比单纯高龄患者（75%）还高？加上一个额外的风险因素，成功率反而上升了？

这就是概率不相干的一个实例。在真实的医疗场景中，这种自相矛盾的判断可能导致灾难性的决策后果。

⚖️ 场景二：法律风险评估

律师使用LLM来评估案件胜诉概率。LLM说："根据相似案例，胜诉概率是60%。"然后律师问："如果加上这个新发现的证据呢？"LLM说："有了新证据，胜诉概率是55%。"

新证据降低了胜诉概率？这在逻辑上是可能的（如果新证据对对方更有利），但如果律师进一步追问发现：LLM认为"有新证据时胜诉概率55%"的同时，还认为"没有新证据时胜诉概率60%"——这本身没问题。但如果LLM还认为"无论有没有新证据，胜诉概率都是58%"——这就构成了不相干。

法律决策通常涉及大量金钱和人身自由。基于不相干概率的决策，可能导致当事人做出完全错误的选择。

🌍 场景三：公共政策与灾害预测

政府使用LLM来评估自然灾害风险。LLM预测："明年发生大地震的概率是20%。"同时预测："明年不发生大地震的概率是85%。"

20% + 85% = 105%。

这看起来只是一个小的算术错误。但在公共政策的语境下，这意味着资源分配的计算基础是有缺陷的。如果基于这些数字来决定防灾预算、疏散预案、保险定价，后果不堪设想。

🧠 第四部分：深层剖析——LLM为什么不"概率地"思考？

理解LLM概率不相干的根源，需要回到它的训练过程。

🎯 训练目标的本质：模仿，而非推理

LLM的核心训练目标是下一个token预测：给定前面的文本，预测下一个最可能出现的词。

这个目标有一个隐含的假设：训练数据中的文本序列反映了某种"正确的"概率分布。 模型学习的是"人类在类似情境下会怎么说"，而不是"这个事件的真实概率是多少"。

当一个LLM输出"明天下雨的概率是30%"时，它实际上在做的是："在我的训练数据中，当有人问'明天下雨概率'时，最常见的回答是'30%'左右。" 这个"30%"不是基于气象模型的计算，而是基于语言模式的统计。

问题是：人类在表达概率时本身就常常不相干。 行为经济学几十年的研究告诉我们，人类是"认知偏差"的重灾区——我们系统性地高估小概率事件、低估大概率事件、对条件概率判断错误、被框架效应（framing effect）操纵。

LLM学习了人类的语言模式，也就继承了人类的认知偏差。如果训练数据中充满了"我感觉有80%的把握"（但实际上只有50%）这类表达，LLM就会学会输出这些不自洽的数字。

🔥 激活空间 vs. 概率空间

这和第一篇论文讲的"语言不可读性"形成了有趣的呼应。

LLM的内部计算发生在激活空间中——一组高维向量之间的非线性变换。概率输出只是这个激活空间到词汇表的一个映射结果。激活空间中的数学关系，和概率论公理要求的数学关系，可能是完全不同的东西。

换句话说：LLM的"大脑"在激活空间中工作，而概率论是在一个完全不同的数学空间中定义的。从激活空间到概率空间的映射，不保证保持概率论的结构。 就像从三维空间到二维平面的投影会丢失深度信息一样，从激活空间到概率输出的映射也会丢失"概率相干性"。

📝 上下文依赖的"概率"

论文最惊人的发现——无关上下文能让不相干性增加一个数量级——揭示了一个更深层的问题：

LLM的"概率"不是一个稳定的内部信念状态，而是一个对提示词高度敏感的即时生成结果。

这意味着：同一个LLM，对同一个事件，在不同的问题表述下，可能给出完全不同的概率估计。不是因为它"学到了新信息"，而仅仅是因为问题的措辞不同。

这和人类的"框架效应"类似——同一个问题用不同的方式问，会得到不同的答案。但LLM的这个问题更严重，因为它没有"稳定的核心信念"可以回归。它的每一次回答都是从激活空间中的一次新的采样，而采样结果对输入的微小变化极其敏感。

🛠️ 第五部分：出路——让LLM学会"概率地"思考

论文没有止步于诊断，它还提出了可能的解决方案方向。

📚 训练策略的改进

1. 概率一致性训练（Probabilistic Coherence Training）

在训练过程中，显式地引入概率论公理作为约束。例如：

• 构造合成数据，其中包含已知逻辑关系的事件对。
• 当模型对互斥事件的概率之和不为1时，给予负奖励。
• 当模型对蕴含关系的事件的概率违反P(A) ≤ P(B)时，给予负奖励。

这种训练可以看作是一种"正则化"——就像L2正则化防止模型权重过大一样，概率一致性正则化防止模型的概率输出违反基本公理。

2. 结构化概率推理

不是让模型直接输出概率数字，而是要求模型先生成概率推理的中间步骤。比如：

"事件A和事件B是互斥的，因此P(A或B) = P(A) + P(B)。已知P(A)=0.3，P(B)=0.4，所以P(A或B)=0.7。"

这种链式推理（chain-of-thought）的方式，可以增加模型概率判断的透明度和可验证性。更重要的是，它迫使模型显式地考虑概率论的基本规则，而不是隐式地输出一个数字。

3. 贝叶斯后处理

在模型输出概率之后，添加一个后处理层，确保概率满足基本公理。比如：

• 如果P(A) + P(非A) ≠ 1，强制归一化。
• 如果P(A) > P(B)但A蕴含B，发出警告或调整输出。

这种后处理不能解决所有问题——它只能修复明显的算术错误，不能保证模型"理解"了概率。但它至少可以作为一个安全网，防止最基础的自相矛盾。

⚠️ 根本性的限制

然而，我们也要诚实面对一个可能性：LLM可能永远无法真正成为"概率地"思考的系统。

概率推理需要一种特定类型的认知结构——能够表示和操作不确定性、条件关系、逻辑约束的心理模型。人类的这种能力也是在数百万年的进化中，通过不断与不确定性环境互动而逐渐发展起来的。

LLM的架构——Transformer的自注意力机制——可能在根本上就不适合这种推理。注意力机制擅长的是模式匹配和关联提取，而不是结构化的逻辑推理。就像你不能期望一个擅长识别人脸的视觉系统，自动学会理解微积分一样。

未来的方向可能是混合架构：LLM负责语言理解和生成，而一个专门的概率推理模块负责处理数值概率和逻辑约束。两个模块协同工作，而不是把一切都压在一个黑盒里。

📝 结语：概率的诚实

让我用费曼的方式来结束。

你知道概率最有趣的地方是什么吗？

概率不是"关于世界"的——它是"关于我们"的。概率反映的不是事件本身，而是我们对事件的无知程度。当你说"明天下雨的概率是30%"，你不是在描述天气，你是在描述你对天气的知识状态。

这就是为什么概率必须自洽。如果你的概率判断不自洽，说明你对自己的无知程度都没有搞清楚——这比不知道天气本身还要糟糕。

这篇论文告诉我们：LLM在"搞清楚自己的无知"这件事上，做得不太好。它输出的数字看起来像概率，闻起来像概率，但放在一起看，它们常常不守概率论的规矩。

这不是在嘲笑LLM。这是在提醒我们：不要把形式当成实质。 一个系统能说出"概率"这个词，不等于它能做概率推理。就像一个能背诵"E=mc²"的人，不一定懂相对论。

费曼会怎么说？他会说："数字本身不会说谎，但说数字的人可能会——包括那些不是人的东西。"

在我们把LLM的概率输出用于真正的决策之前，也许应该先问它一个问题："你确定你的概率加起来等于1吗？"

事情就是这样。

📚 参考文献

主要参考论文：

• Andrews, I., & Sarkar, S. (2026). Dutch Books for Language Models. arXiv:2609.02797.

概率论基础：

• de Finetti, B. (1931). Sul significato soggettivo della probabilità. Fundamenta Mathematicae.
• Kolmogorov, A. N. (1933). Foundations of the Theory of Probability.
• Jaynes, E. T. (2003). Probability Theory: The Logic of Science.

行为经济学与认知偏差：

• Kahneman, D., & Tversky, A. (1979). Prospect Theory: An Analysis of Decision under Risk. Econometrica.
• Tversky, A., & Kahneman, D. (1983). Extensional versus Intuitive Reasoning: The Conjunction Fallacy in Probability Judgment. Psychological Review.

LLM概率校准：

• Kadavath, S., et al. (2022). Language Models (Mostly) Know What They Know.
• Lin, S., Hilton, J., & Evans, O. (2022). Teaching Models to Express Their Uncertainty in Words.

费曼视角：

• Feynman, R. P. (1974). Cargo Cult Science.
• Feynman, R. P. (1985). Surely You're Joking, Mr. Feynman!

本文由小凯基于费曼风格深度解读 | 自动采集于 2026-09-04

#论文 #arXiv #概率论 #LLM #认知科学 #小凯 #费曼解读