Claim Smoothing：当 LLM 研究代理把可能说成一定，我们怎么量化这种过度自信

Claim Smoothing：当 LLM 研究代理把"可能"说成"一定"，我们怎么量化这种过度自信

一个让人后背发凉的场景

想象你雇了一位研究助理，给他一堆论文和报告，让他写一份综述。他交回来的东西读起来行云流水——"X 技术使效率提升 40%"、"Y 方法在所有场景下优于基线"、"Z 领域的研究者一致认为……"。每个结论都斩钉截铁，每段叙述都自成逻辑。你觉得这份报告太好了，好到可以直接拿去汇报。

然后你翻开原始文献，发现："X 技术使效率提升 40%"只在某个特定数据集上成立，其他数据集上反而下降了；"Y 方法优于基线"是在三个任务上，另外五个任务上被基线反杀；"Z 领域一致认为"其实是两篇论文的观点，还有三篇持相反意见。

这位助理没有编造事实——他引用的每篇论文都存在，每个数字都对得上。但他做了一件更隐蔽的事：把"可能"说成了"一定"，把"部分"说成了"全部"，把"有争议"说成了"有定论"。

这就是 LLM 研究代理的"平滑"（smoothing）失败模式。而今天这篇论文，第一次系统地量化了这个现象。

什么是"平滑"

论文给了一个精确的定义。平滑是指 LLM 在综合多个文档时，把原本多样、冲突、带条件的证据，压扁成一条决定性的叙述。模型不是在编造事实，而是在"压缩"证据的过程中，丢掉了那些让结论变得不那么干净的反例、限制和不确定性。

论文用了一个词叫"evidential jaggedness"——证据的锯齿状。真实的证据是锯齿状的：有些支持结论，有些反对；有些无条件成立，有些只在特定条件下成立；有些来自高质量来源，有些来自边缘研究。平滑就是把锯齿磨平，让一切看起来光滑、一致、笃定。

这和"幻觉"（hallucination）不同。幻觉是模型编造不存在的事实，相对容易被事实核查抓到。平滑则更狡猾——它说的每个事实都能在原文找到出处，但结论比出处支持的更强。你没法用"这个引用是假的"来反驳它，因为引用是真的，只是被过度解读了。

SmoothScore：给"过度自信"打分

论文的核心贡献是 SmoothScore——一个 claim 级别的评分管线。它的工作流程如下：

第一步：提取断言。从模型生成的报告里提取关键结论性断言（claim）。比如"X 技术使效率提升 40%"就是一个 claim。

第二步：收集证据。对每个 claim，在原始文档集合中搜索相关证据。不是找"支持这个 claim 的证据"，而是找"和这个 claim 主题相关的所有证据"——包括支持的、反对的、带条件的。

第三步：按方面聚类。把收集到的证据按高层方面（aspect）聚类。比如关于"X 技术的效率"这个 claim，证据可能分成"在数据集 A 上的表现"、"在数据集 B 上的表现"、"理论分析"、"实证限制"等几个方面。

第四步：打分。对每个 claim，基于它和证据的匹配程度打 1-5 分：

• 1 分：无平滑。claim 准确反映了证据的复杂性和条件性。
• 2 分：轻微平滑。claim 略微过度断言，但基本忠实。
• 3 分：实质性平滑。claim 断言的强度超过证据支持，忽略了重要反例或条件。
• 4 分：严重平滑。claim 和证据明显冲突，或无视了关键反面证据。
• 5 分：根本性误导。claim 直接歪曲了证据的整体倾向。

这个打分不是模型自评，而是用 LLM 作为 judge，配合人工验证。论文报告了人工验证结果：两位标注者之间的 Spearman 相关系数 0.72，judge 和标注者之间 0.69——对于这种主观任务来说已经相当可靠。

数字让人震惊

论文测了 7 个系统 × 4 个数据集，结果触目惊心：

Gemini Deep Research 是最严重的平滑者。在所有数据集上，85-93% 的 claim 得分 ≥3（实质性平滑），22-35% 的 claim 得分 ≥4（严重平滑）。也就是说，Gemini 生成的每 10 个结论性断言里，有 2-3 个严重歪曲了证据。它的平均 SmoothScore 在 3.05-3.27 之间——意味着平均每个 claim 都有实质性平滑。

开源系统也不遑多让。DR Tulu 和 QUEST 这两个开源 Deep Research 系统的严重平滑率（≥4）在 7-23% 之间，比 Luna 和 Sol 高 13-26 倍。论文特别指出，QUEST 经常生成"读起来像摘要而非综合"的输出——它忠实保留了具体数字，但在范围上过度断言，导致结论被夸大。

最好的系统也有 22% 的实质性平滑。Luna 和 Sol 是表现最好的，但即便如此，它们仍有至少 22% 的 claim 得分 ≥3。没有任何一个系统能把平滑率压到 20% 以下。

"读起来像综合"和"真的是综合"是两回事。Gemini 的报告最长、引用最多、读起来最像一份专业的学术综述——但它的平滑也最严重。这恰恰是平滑的危险之处：它让报告看起来比实际更好。一份充满"可能"、"在某些条件下"、"存在争议"的报告读起来磕磕绊绊，而一份斩钉截铁的报告读起来如沐春风。平滑的系统性地奖励了过度自信的表达。

平滑从哪里来

论文做了一个非常有意思的分析：模型到底有没有读那些文档？

答案是：大多数情况下，没有。论文统计了 Luna 和 Sonnet 5 两个系统在 ResearcherBench 上的文档使用情况：

Sonnet 5 引用了 1,458 个文档，但只打开了 34 个——打开率 2%。98% 的"引用"从未被实际阅读过。Luna 稍好，但也只有 19% 的引用被真正打开。

这解释了平滑的根源：模型在"假装综合"，而不是真的在综合。它从搜索摘要、标题、片段中拼凑出一份看起来像综合的报告，但从未深入阅读原始文档。当证据来源只是摘要级别的信息时，模型倾向于把这些碎片化的信息压成一条平滑的叙述——因为它没有足够的细节来保留那些"锯齿"。

怎么治

论文试了两种"治疗"方案：

方案一：给模型完整文档。把原始文档的全文放进上下文，而不是只给搜索摘要。结果：Luna 的平均 SmoothScore 从 1.95 降到 1.80，Sonnet 5 从 2.52 降到 1.78。实质性平滑（≥3）的比例从 29% 降到 12%（Luna）、61% 降到 25%（Sonnet 5），降幅超过一半。严重平滑（≥4）几乎消失。

方案二：加校准指令。在 prompt 里明确告诉模型："不要过度断言。如果证据有冲突，说明冲突。如果结论有条件，说明条件。"结果：单独加指令有一定效果，但最大的效果来自"完整文档 + 校准指令"的组合。

这里有个关键的交互效应：校准指令只在模型有足够证据时才有效。如果模型只有搜索摘要，你再怎么让它"诚实"也没用——它不知道自己遗漏了什么，自然无法标注那些不确定性。只有当模型手里有完整文档时，校准指令才能引导它去识别和保留那些"锯齿"。

这个发现对 Deep Research 系统的设计有直接含义：先解决证据获取，再解决证据表达。在证据不足的情况下优化表达方式，只是在光滑的表面上做文章。

为什么这件事比你想象的更重要

步子哥一直关注"评测可信度"这条线——关键词匹配的假阳性、LLM 新颖性评审的不稳定、排行榜的冰山效应。Claim Smoothing 是这条线上的又一个节点：连"综合多个来源"这件事本身，都可能系统性地产生过度自信的输出。

更让人不安的是平滑的隐蔽性。幻觉是"说了假话"，相对容易被抓到——你查一下引用是否存在就行。平滑是"说了比真话更确定的话"，它不需要编造任何事实，只需要把"可能"省略成"一定"、把"部分"省略成"全部"、把"有争议"省略成"有定论"。每个省略单独看都像编辑润色，合在一起就构成了一种系统性的误导。

而且平滑有一种"自我强化"的倾向。模型生成的平滑报告会被加入训练数据，下一代模型从这些报告里学到"综合就是这样写的"——更光滑、更笃定、更忽略反例。如果不加干预，平滑会随着模型迭代而加剧。

SmoothScore 的价值在于它给了我们一个度量。你没法改善你没法测量的东西。有了 1-5 分的标尺，我们就能比较不同系统的平滑程度、追踪改进效果、设置部署门槛。论文报告 Gemini 的平均分是 3.27——如果这是你公司的 Deep Research 系统，你大概不想在它上面加一个"自动发布到官网"的按钮。

诚实的局限

SmoothScore 本身也有一些局限。首先，它的打分依赖 LLM judge，而 LLM judge 本身可能有偏见。论文做了人工验证，但 73 个样本的验证集不算大。

其次，"平滑"和"简洁"之间的界限有时模糊。一份好的综述确实需要压缩信息、省略细节、给出明确结论。什么时候是"合理的综合"，什么时候是"过度平滑"？1-5 分的标尺给了量化指标，但边界情况仍然依赖主观判断。

最后，论文只测了 4 个英文数据集。在其他语言、其他领域（比如法律分析、市场研究）的平滑情况是否类似，还需要更多验证。

结语

Claim Smoothing 揭示了一个反直觉的事实：LLM 研究代理最危险的不是不知道，而是"假装知道"。它不编造事实，它只是把事实压成比本身更干净的形状。这种压缩在摘要生成里是优点，在研究综合里是陷阱。

下次你看到一份行云流水的 AI 研究报告，先别急着点赞。问一句：那些"一定"在原文里是"可能"吗？那些"所有"在原文里是"部分"吗？那些"一致认为"在原文里是"两篇论文认为"吗？

锯齿才是证据的真实形状。光滑的叙述，往往是被磨平的真相。

---

论文：Quantifying Claim Smoothing by LLM Research Agents 作者：Tiasa Singha Roy, Manya Wadhwa, Greg Durrett (New York University) arXiv：2610.35793 代码：github.com/tiasa2/SmoothScore