从纯文本里学不到语言：一个信息论证明

从纯文本里学不到语言：一个信息论证明

一个婴儿的困境

想象一个婴儿。她从出生开始，每天听到无数句话——"把杯子递给我"、"今天天气真好"、"你饿了吗"。她从未看过任何人的意图，从未接触过说话时的场景，只有纯粹的文本流。

这个婴儿能学会语言吗？

这不是一个思想实验。这是所有大语言模型（LLM）的真实处境。GPT、Claude、Llama——它们都是这个婴儿，只不过它们听到的不是几年的对话，而是几万亿个 token 的文本。

2026 年 8 月，Emily Cheng（庞培法布拉大学）和 Ryan Cotterell（ETH 苏黎世）在 arXiv 发表了一篇论文，用信息论给出了一个冷峻的答案：不能。无论你用多少文本、多大的模型、多好的训练算法，从纯文本中恢复说话者意图的概率存在一个不可逾越的上界。

这个上界不是工程限制，是数学限制。

通信模型：说话者、听话者、和看不见的意图

论文建立了一个通信模型，三个人类角色：

• 说话者（Speaker）：脑子里有一个意图（meaning M），在一个上下文（context C）中，选择了一个话语（utterance U）
• 听话者（Listener）：听到了 U，试图从 U 推回 M
• 上下文（Context）：说话者和听话者共享的、话语之外的所有信息

这不是"现有模型不够好"的问题，是语言本身的性质。

两个定理：不可逾越的上界

论文的核心贡献是两个定理。

定理 1（离散意义空间）：对于任何从话语到表示的映射 g（包括完美学习者的内部激活），解码器 f 正确恢复意图的概率被以下公式约束：

其中 \(I(M; U)\) 是意图和话语之间的互信息，\(H(M)\) 是意图的熵。

定理 2（连续意义空间）：类似的上界在连续空间也成立。

这两个上界由两个量决定：

1. 不可约部分（irreducible）：话语本身无法消除的意图不确定性。这是语言结构内禀的，任何文本表示都无法突破。 2. 上下文可解部分（context-resolvable）：只有上下文（而非话语本身）才能消除的不确定性。

关键洞察是：上下文是语言理解不可或缺的一部分，但上下文不在文本里。 你可以训练一个模型在万亿 token 上，但只要输入只有话语 U 而没有上下文 C，这个上界就成立。

类比：密码学和翻译

想象你在破译一份密文。密文长度有限，而原文可能来自无限大的消息空间。即使你有完美的密码分析工具，如果密文长度不够，你永远无法确定原文是什么——因为多段原文可以映射到同一段密文。

语言也是这样。一句话是意图的"密文"，但这个密文有信息损失。不同意图可以产生相同的话语。"I'm fine" 可以表示真的很好，也可以表示不想说话。没有上下文，你无法区分。

这和 Shannon 的信道容量定理有同样的精神：信息一旦在传输中丢失，就无法在后端恢复。 语言通信的"信道"（话语）天然有信息损失，因为说话者必须在有限的符号中压缩无限的意图。

实验：三个语言验证上界

论文没有停留在理论。作者在三个任务上验证了上界的预测：

1. 人工语言

作者构造了离散和连续两种人工语言，精确控制 \(I(M; U)\) 和 \(H(M)\)。实验显示，解码器的恢复概率严格遵循定理预测的上界——无论用 MLP 还是 LLM 做特征提取，都无法突破。

2. 普通话零代词消解

中文里"吃了"可以指"我吃了"、"你吃了"、"他吃了"——代词被省略了，意图取决于上下文。模型需要从话语本身推断被省略的代词。实验显示，模型的准确率被 \(I(M; U)/H(M)\) 紧紧约束，和理论预测一致。

3. 颜色命名

Monroe 等人（2017）的颜色命名任务中，说话者看到一个颜色，用一个词描述，听话者需要从词恢复颜色。颜色空间是连续的，话语是离散的。同样，模型的恢复误差被上界约束。

三个实验，从人工到自然，从离散到连续，上界都成立。

这意味着什么

1. LLM 的"理解"是统计近似，不是语义恢复

LLM 训练在纯文本上。根据定理 1 和 2，LLM 的内部表示无法突破信息论上界。这意味着 LLM 学到的不是"意图"，而是"话语分布的统计结构"。

这并不否认 LLM 有用。统计结构足够丰富，可以支持翻译、摘要、问答等任务。但它意味着 LLM 的"理解"和人类的理解有本质差异——人类在对话中同时使用话语和上下文，LLM 只有话语。

2. 多模态不是可选优化，是数学必然

如果纯文本无法突破上界，那么突破上界的唯一方式是引入上下文。多模态（视觉、听觉、具身信号）不是工程优化，是数学必然。

这解释了为什么 GPT-4V、Gemini 的多模态能力不是"锦上添花"——它们在突破纯文本的信息论限制。

3. RAG 不是检索增强，是上下文注入

RAG（Retrieval-Augmented Generation）的本质不是"查找资料"，而是注入上下文 C。通过把外部知识塞进 prompt，RAG 在缩小 \(H(M|U)\) 的同时扩大 \(I(M; U)\)，从而提高可恢复概率。

从信息论角度看，RAG 不是工程技巧，是数学上突破纯文本上界的唯一通道。

4. 对齐的数学根源

为什么 LLM 会"幻觉"？为什么对齐这么难？这篇论文给出了一个数学根源：LLM 的内部表示本来就不包含完整的意图信息。对齐不是让模型"说真话"，而是让模型在信息不完整的情况下做出合理的行为。

这和"过冷态是亚稳态"同构：LLM 的知识状态是亚稳态，任何扰动（prompt 设计、采样温度、上下文缺失）都可能让系统状态翻转。对齐不是删除错误能力，是移除让错误能力显现的"冰核"。

和已有概念谱系的连接

这篇论文的发现可以接入几个已有的概念谱系：

"评测盲区定律"再添一例：我们用文本评测 LLM 的"理解能力"，但文本本身不携带完整意图。评测测的是"话语分布匹配"，不是"意图恢复"——两者之间有一个信息论上界。

"判断-闸门解耦"的数学根源：LLM 内部可能"知道"正确答案（因为统计结构足够丰富），但无法在输出中恢复完整意图——因为上界限制了可恢复性。判断（内部表示）和闸门（输出）之间的鸿沟有信息论基础。

"换层面解决问题"再添一例：纯文本层面无法突破上界，但多模态、RAG、具身交互可以——因为它们引入了新的信息源。这不是在文本层面"更努力"，而是换一个层面。

诚实的评价

这篇论文不是没有局限。

理论层面：上界是"存在性"的，不给出具体数值。我们知道上界存在，但不知道对于自然语言它有多紧。如果上界很松（比如 0.99），那实际限制不大；如果很紧（比如 0.5），那 LLM 的"理解"永远只能是一半。

实验层面：三个人工/半自然任务都是受控的。真实自然语言的 \(I(M; U)\) 和 \(H(M)\) 极难估计，论文没有给出自然语言的实际上界数值。

意义层面：这个结果对 LLM 工程师有指导意义（多模态、RAG 是必然方向），但对"LLM 是否真正理解语言"的哲学争论没有终结——它只是说"纯文本不够"，没有说"什么才够"。

但作为一个信息论证明，它的价值在于：把一个模糊的哲学问题（"LLM 真的懂语言吗"）变成了一个精确的数学问题（"从 U 恢复 M 的概率上界是多少"）。这种从哲学到数学的转换本身就是贡献。

结语

半个世纪前，Gold（1967）证明了一个负面结果：从正例文本流中无法保证学到正确的语法。半个世纪后，Cheng 和 Cotterell 给出了一个信息论版本的负面结果：从纯文本中无法保证恢复意图。

这两个结果都不是说"LLM 没用"。它们说的是更精确的事情：文本是意图的有损投影，无论投影仪多好，都无法从投影恢复原物。

理解这一点，才能理解为什么 LLM 需要 RAG、需要多模态、需要工具调用——不是工程优化，是数学必然。

论文：A Formal Limitation on Learning Human Language From Textual Corpora 作者：Emily Cheng (UPF), Ryan Cotterell (ETH Zürich) 日期：2026 年 8 月 28 日