图灵奖得主 Leslie Valiant 出手了：用"拆关系"解决 LLM 推理可信度问题

图灵奖得主出手了——Leslie Valiant 说大模型的推理问题，可以用"拆关系"来解决。 读完这篇论文，我脑子里蹦出一个画面：一个人拼命往墙上钉钉子，但每次锤子落下去都偏了。不是他力气不够，是他闭着眼睛在钉。大模型就是这样——能写出流利的段落，但它"看不见"自己写的东西到底意味着什么。Valiant 说：睁开眼吧，我来教你一个办法。 这篇论文的作者 Leslie Valiant，如果你不知道他是谁——他是 2010 年图灵奖得主，计算学习理论（PAC Learning）的奠基人。这位老爷子一辈子做的事就是追问："计算机到底能学会什么？"现在，他把目光投向了 LLM 最脆弱的一个环节——推理。 ### 1. 问题：我们相信 LLM 的文笔，但不敢相信它的内容 Valiant 在论文开头说得特别直白：**我们可以相信 LLM 能写出流畅的散文，这在机器学习原理上是站得住脚的。但对于文本内容的正确性，没有任何同等严谨的依据。** 这就是个大问题。当我们让 LLM 做多步推理——比如"A 在 B 的城市，B 是 C 的邻居，C 的出版社在哪？"——模型本质上在瞎蒙。传统的方法是堆数据、堆参数、堆算力，指望模型在统计上"猜对"。 但 Valiant 说不行。这不只是工程问题，这是一个根本性的理论问题：**我们能不能让 LLM 的推理像它的语言能力一样，背后有严格的理论支撑？** ### 2. Valiant 的药方：把"关系"摊在桌面上 Valiant 的方案分两步。 **第一步：预处理，把隐藏的关系显式化。** 假设有这么一句话："Bob insulted Joe. Sue likes Joe. Sue took revenge on Bob." 人一眼就能看出 Sue 复仇的动机——她喜欢 Joe，而 Joe 被 Bob 侮辱了。但 LLM 看这句话就是一堆 tokens 流。Valiant 说：我们给每个 token 加一个"关系背包"，里面装着这个 token 和其他 token 之间的关系信息。 具体做法是：把每个二元关系拆成两个"一元关系"。比如 "Insulted(Bob, Joe)" 拆成 "Insulted1(Bob)" 和 "Insulted2(Joe)"。"Likes(Sue, Joe)" 拆成 "Likes1(Sue)" 和 "Likes2(Joe)"。 然后把这些一元关系标注塞回 token 序列里——每个 token 旁边多出 h-1 个"增广 token"，这些增广 token 携带着该 token 参与的所有关系的编码信息。 他把这套编码叫做 **Unary Relational Integracode（URI）**——一元关系集成编码。叫"Integracode"是因为 integra 在拉丁语里是"完整"的意思——把数据变得更完整。 **第二步：让模型学会预测这些关系。** 一旦数据被重新编码，训练就变成了一个标准（但可能更简单）的机器学习问题——预测每个位置上哪些一元关系为真。 Valiant 从理论上证明了一个关键结论：在这种 URI 编码下，核心的 Robust Logic 规则变成了 **k-DNF 布尔公式**的形式，而 k-DNF 是 **PAC 可学习的**。这意味着我们可以对学习过程提供理论保证，而不是只靠统计猜。 更精彩的是他的复杂度分析。传统 Transformer 的复杂度是 O(dN² + d²N)，其中 N 是窗口大小，d 是嵌入维度。URI 编码把 token 数量扩大了 h 倍，嵌入维度扩大了 g' 倍，但如果我们能实现线性复杂度 O(dN) 的架构，那么 URI 的总复杂度是 O(g'h·dN)。只要 g'·h 远小于 d 和 N——这很合理——就是巨大的节省。 ### 3. Robust Logic：给"不确定"的推理穿上盔甲 Valiant 之前提出过一套理论框架叫 **Robust Logic**（鲁棒逻辑），专门用来处理"从数据中学到的、因此带有不确定性"的知识的推理。 传统的逻辑推理假设规则是绝对正确的——如果 A→B 且 B→C，那 A→C 一定成立。但机器学习里没有"绝对正确"，每个规则都有统计误差。 Robust Logic 用了一个叫做 **近似等价（≈）** 的关系来替代逻辑蕴含（→）： $$ \forall x \forall z \{ \exists y[ \text{Insulted}(x,y) \text{Likes}(z,y) ] \approxeq \text{Revenges}(z,x) \} $$ 这看起来和传统逻辑差不多，但含义截然不同：左边不是右边的一个充分条件，而是和右边"大致等价"。这意味着左边不仅要覆盖所有右边为真的情况，还要确保当左边为真时右边确实也为真——两边要在大样本上统计匹配。 > 这一块我理解得不太有把握。论文中关于 Robust Logic 的形式化定义和 PAC 可学习性的证明涉及较深的计算学习理论。我理解的核心是：通过 URI 编码，Robust Logic 规则变成了 k-DNF 形式，而 k-DNF 是已知可 PAC 学习的——但 k-DNF 学习在 worst-case 下复杂度随 k 指数增长，论文认为自然语言数据不会触发这种 worst-case，这个假设是否成立我不确定。 ### 4. 三种推理能力 Valiant 详细讨论了 URI + Robust Logic 框架能支持的三种推理方式： **① 在一个分类器调用内应用规则。** 训练中学到的规则可以在推理时直接用——比如 "Insulted + Likes → Revenges" 这个规则。 **② 在多次分类器调用之间链式推理。** 这是 URI 的一个独特优势——它输出的增广 token 包含了关系信息，这些信息可以传给下一次调用。当前 Transformer 在两次 next-token 预测之间会丢失所有内部关系信息；URI 通过在输出中保留显式的关系编码，支持跨调用的链式推理。 **③ 在一个分类器内部多层链式推理。** 更推测性的想法：如果能在一个端到端网络的不同层次中学会多层规则，那它们可以在推理时自动组合。 ### 5. 我的判断：方向极具价值，但离工程落地还有距离 这篇论文让我特别兴奋的一个原因是——它来自一个真正的大师级人物，在思考一个根本性的问题，并给出了一个有理论支撑的答案。 Valiant 一辈子做的是"给学习建立理论基础"——PAC 学习、计算学习理论、鲁棒逻辑。他不是随便进来说"我们再训一个大模型吧"。他是从第一性原理出发，追问我们到底需要什么样的数据表征，才能让推理变得可控、可信、可证明。 但我必须诚实地说几个我不确定的地方： - **语义分析器的精度问题。** URI 编码的效果完全依赖于第一阶段语义分析（主语-谓语-宾语提取、共指消解等）的质量。如果这个分析有噪声，后面的训练会不会放大这些错误？ - **k-DNF 学习的实际可行性。** 理论上 k-DNF 是 PAC 可学习的，但实际算法在 k 较大时仍然会面临计算挑战。自然语言数据是否能避免 worst-case，需要实验验证。 - **实验验证的缺失。** 这篇论文完全是理论性的——没有新实验。它建立在 Valiant 之前一个小规模实验（2019 年的 Knowledge Infusion 论文）基础之上，但那个实验用的并不是 URI 编码。URI 的有效性目前还是一个理论假设。 不过，这不影响这是一篇重要的论文。它像一份"施工蓝图"——不是在展示一座建好的房子，而是在说：如果我们这样设计，应该能建成一座更牢固的房子。未来如果有人按照这个蓝图真的做出了高效的实现，那可能会是 LLM 推理能力的一次质的飞跃。 --- **论文信息** - 标题：Enhanced and Efficient Reasoning in Large Learning Models - 作者：Leslie G. Valiant（哈佛大学，2010 年图灵奖得主） - 预印本：arXiv:2605.14036 (cs.AI) - 提交日期：2026 年 5 月 13 日 - 核心贡献：提出 Unary Relational Integracode（URI）数据编码方案，将文本中的关系显式化，使 Robust Logic 规则转化为 PAC 可学习的 k-DNF 公式，实现高效且可推理的 LLM 架构 - 论文链接：https://arxiv.org/abs/2605.14036 **参考文献** 1. Valiant, L.G. (2026). Enhanced and Efficient Reasoning in Large Learning Models. arXiv:2605.14036. 2. Valiant, L.G. (2014). Robust Logics. 3. Valiant, L.G. (2024). The Importance of Being Educable. Princeton University Press. 4. Valiant, L.G. (1984). A Theory of the Learnable. *Communications of the ACM*, 27(11):1134–1142. 5. Valiant, L.G. (2019). A First Experimental Demonstration of Massive Knowledge Infusion. #图灵奖 #PACLearning #RobustLogic #LLMReasoning #Halucination #FeynmanLearning #智柴