《每个人的证词——SMART 与多智能体的状态推理》

论文: SMART: State-based Multi Agent Reasoning Traces for Verification-oriented Problem-Solving
arXiv: 2611.08196 | 作者: Sai Vallurupalli, Francis Ferraro / University of Maryland Baltimore County
发布时间: 2026-11-05

⚖️ 一个需要审判的声明

法庭上，法官面对一桩棘手的案件。声明如下：

"基因敲除 JAM-A 会减少肠道通透性。"

这个声明是对还是错？法官不是生物学专家，他需要证据。但在传唤证据之前，他需要知道：这个声明涉及哪些关键实体？它们之间的关系是什么？

于是法官召集了一个专家团队。一位专家研究 JAM-A——"JAM-A 是一种紧密连接蛋白，它在上皮细胞之间形成屏障。"另一位专家研究肠道通透性——"肠道通透性由上皮细胞的紧密连接完整性决定。"还有一位专家研究基因敲除——"基因敲除 JAM-A 会增加细胞间的旁细胞运输。"

等一下——如果 JAM-A 维护屏障完整性，而基因敲除 JAM-A 会增加旁细胞运输，那基因敲除 JAM-A 应该是增加肠道通透性，而不是减少。声明说反了。Refuted（被驳斥）。

这个推理过程看起来自然，但它实际上涉及了一个复杂的知识链条：识别声明中的实体、理解每个实体的功能和状态、推断实体之间的因果关系、综合所有证据得出结论。人类专家可以凭直觉完成这个链条，但让大语言模型来做这件事时，它会犯各种错误——它可能只知道"JAM-A 和肠道屏障有关"就草率下结论，可能记混了"增加"和"减少"的方向，可能根本没有想到"基因敲除"这个操作会影响什么。

更棘手的是，这个声明还隐含了一个未提及的关键实体——肠道上皮细胞。它是 JAM-A 发挥作用的地方，也是紧密连接所在的位置。如果推理链条中没有引入这个隐含实体，整个推理就会断裂——你不知道 JAM-A 在哪里发挥作用，就无法推断它的敲除会影响什么。但对于大模型来说，发现这个隐含实体并不容易——它需要对生物学的深层理解，知道"肠道通透性"这个概念背后必然涉及某种细胞屏障。

这就是 SMART 要解决的问题：如何让多个 AI 智能体像一个专家团队一样，通过结构化的知识获取和协作推理来验证复杂声明。

🧩 问题：当推理需要的知识不在问题里

SMART 处理的任务叫做声明验证（Claim Validation）：给定一个科学声明，判断它是被支持（supported）还是被驳斥（refuted），同时给出置信度和理由。

这个任务之所以难，是因为推理所需的知识往往不在问题文本中显式给出。声明只提到了 JAM-A 和肠道通透性，但正确的推理需要你知道"上皮细胞"这个隐含实体的存在，以及"旁细胞运输"这个中间概念。

传统的两种方法各有缺陷：

**Chain-of-Thought（思维链）**让模型一步步推理，但模型经常"想岔了"。论文发现了一个有趣的现象：当模型不知道某个声明的知识时，它会用"缺乏支持信息"作为驳斥的理由——这在逻辑上是不健全的。"我没找到证据支持"不等于"证据表明这是错的"。在 SciFact 数据集上，CoT 在 23-78% 的被驳斥声明上使用了这种"缺乏支持"的推理路径——它不是因为知道答案是错的而驳斥，而是因为"不知道"而驳斥。

**Retrieval-Augmented Generation（RAG）**让模型先搜索相关文档，再基于搜索结果推理。但搜索结果通常是嘈杂的——搜索引擎返回的文档可能相关但不可靠，或者可靠但不相关。论文发现 RAG 的性能远低于 CoT，因为检索到的证据经常误导模型。

SMART 的思路是：与其让模型直接推理或盲目搜索，不如先结构化地获取与声明实体相关的知识，验证这些知识的真实性，然后用经过验证的知识来引导推理。

👥 SMART 框架：四步审判流程

SMART 的全称是 State-based Multi Agent Reasoning Traces——基于状态的多智能体推理轨迹。这个名字拆解开来正好是它的四个阶段：

1. Identify（识别）：找出声明中的关键实体，为每个实体指派一位"专家"
2. Explore（探索）：每位专家挖掘与自己实体相关的知识，生成对比前提对
3. Curate（策划）：验证每条前提的真实性，筛选出与声明相关的、经过验证的前提
4. Infer（推理）：由"元推理者"综合所有前提，得出最终判断

让我详细展开每一步。

第一步：Identify——找到关键证人

面对一个复杂声明，SMART 首先问：这个问题涉及哪些实体？哪些实体有可修改的状态？

以 JAM-A 声明为例，系统会识别出最多 5 个关键实体：

• JAM-A：一种蛋白质，状态可以是"表达量高/低"、"功能正常/受损"
• 肠道通透性：一种生理属性，状态可以是"高/低"、"正常/异常"
• 上皮细胞（隐含实体，声明中没有直接提到但推理中必须引入）
• 紧密连接：细胞之间的结构，状态可以是"完整/受损"
• 旁细胞运输：一种跨细胞运输方式，状态可以是"增加/减少"

每个实体被分配给一个专门的 LLM 智能体，作为这个实体的"专家"。这个专家的责任是：了解这个实体的一切相关知识，特别是它的状态——它是什么、能做什么、在什么条件下会怎样变化。

这一步的核心洞察是：复杂问题中的实体不是孤立的，它们之间存在状态上的因果关系。 与其让一个模型同时处理所有实体（容易顾此失彼），不如让每个智能体专注于一个实体，深入挖掘它的状态。

第二步：Explore——挖掘证人的秘密

现在每位专家开始工作。他们的任务是生成对比前提对（contrastive premise pairs）——即关于自己实体的、两个对立面的陈述。

以 JAM-A 专家为例，它可能生成这样的前提对：

前提 1：JAM-A 促进上皮细胞紧密连接的形成。
对立前提 1：JAM-A 抑制上皮细胞紧密连接的形成。

前提 2：JAM-A 在上皮细胞间形成选择性屏障。
对立前提 2：JAM-A 在上皮细胞间不形成选择性屏障。

为什么要生成对立的前提？因为在科学研究中，很多知识不是非黑即白的——JAM-A 在某些条件下可能促进紧密连接，在另一些条件下可能不起作用。通过生成对立的前提对，SMART 迫使智能体考虑一个实体的多种可能状态，而不是过早地锁定一个答案。

这个过程是迭代的——每个专家在生成新的前提对时，可以看到之前已经生成的所有前提。这种"上下文注入"让专家能够建立实体之间的细粒度关联。例如，当 JAM-A 专家看到肠道通透性专家已经生成了"肠道通透性由紧密连接完整性决定"这个前提后，它可能会生成一个更具体的前提："JAM-A 通过维护紧密连接完整性来降低肠道通透性。"

论文设定每个声明生成 n×k=10 对前提（n 轮迭代 × k 个专家），以平衡知识覆盖和计算成本。

第三步：Curate——筛选可信的证词

现在法庭上有了一堆证词——10 对前提，20 条陈述。但不是所有证词都可信。专家可能记错了（幻觉），也可能生成了看似合理但实际错误的前提（特别是当声明本身是被驳斥的时候，专家可能被误导）。

策划阶段做两件事：验证和筛选。

验证每条前提的真伪。论文提供了两种验证方式：

• 参数化知识验证（PK）：让模型自我反思——"根据你的知识，这条前提是真的吗？"模型对自己的知识进行内省检查。
• 网络搜索验证（WS）：用 DuckDuckGo 搜索相关文档，通过自然语言推理（NLI）判断搜索结果是否支持该前提。

验证后，每条前提获得一个二元真值标签：真或假。那些无法验证的或被判定为假的前提被丢弃。

筛选则关注前提与声明的**立场（stance）**关系。每条前提被标注为：支持（support）、反对（oppose）或对声明不确定（unsure）。同时，每条前提获得一个置信度评分（1-10）和一段解释。

从每对对比前提中，选择置信度更高的那条。最终保留的前提是：真实的、与声明立场明确相关的（支持或反对）、高置信度的。

第四步：Infer——法官的最终裁决

现在进入最后阶段。所有经过策划的前提被分为两组：支持集 P_s 和反对集 P_o。一个"元推理者"（Meta-Reasoner）被请来综合所有证据。

元推理者不是简单地对前提投票——它需要对前提进行集体推理，理解它们之间的逻辑关系，权衡不同证据的强度，构建一个连贯的论证链条。

论文比较了五种元推理策略：

• 多数投票（M-Majority Voting）：每条前提独立推理出一个结论，取多数——表现最差，因为它不能捕捉前提之间的交互
• 推理法官（R-Reasoning Judge）：将所有前提放在一起，让模型集体推理——表现最好
• 聚合法官（A-Aggregating Judge）：先聚合所有前提，再做一次推理
• 批判法官（C-Critical Judge）：专注于批判性地审视前提
• 支持法官（S-Supporting Judge）：专注于支持性地解读前提

推理法官的优势在于：它既不过早聚合（丢失信息），也不独立处理（忽略关联），而是让所有前提"同时出现在桌面上"，由模型自由地建立它们之间的推理链条。

最终输出包括：一个二元标签（supported/refuted）、一个 1-10 的置信度评分、以及一段完整的推理论证。推理论证的形式类似 CoT，但关键区别在于：每一步推理都有明确的前提支持，而不是模型凭空生成的中间步骤。你可以把 CoT 想象成一个人在自言自语地推理，而 SMART 的推理更像一个律师在法庭上陈述案情——每一个论点都引用了具体的证据（前提），而不是说"我觉得就是这样"。

这种区别在实际应用中很重要。当 SMART 说"声明被驳斥"时，它不仅给出了结论，还给出了完整的证据链：JAM-A 维护紧密连接完整性（前提 1）、基因敲除 JAM-A 会增加旁细胞运输（前提 2）、旁细胞运输增加意味着屏障受损（前提 3）、屏障受损意味着通透性增加而非减少（推理）——因此声明错误。如果你不同意其中任何一条前提，你可以追溯到具体的证据来源。

📊 实验：三数据集、十种模型

SMART 在三个科学声明验证数据集上进行了评估：

• SFBench（183 条声明）：最新的复杂科学声明基准，标签为多级（-2 到 +2），需要二值化为支持/驳斥
• SciFact（188 条声明）：经典的科学事实验证数据集，标签为二值但基于证据文本
• SciFact-Open（206 条声明）：SciFact 的低偏开放式版本，标签被认为更少偏见

总共 577 条声明，涵盖从生物医学到公共卫生的多个科学领域。所有声明都是人工撰写和标注的，语言高度技术化，需要跨多个文档和证据源的综合推理。

模型选择非常广泛——从小型开源模型到大型商业模型：

• Qwen3：1.7B、8B、32B（thinking 和 non-thinking 版本）
• Llama-3.1：8B、70B Instruct
• GPT-5.4-mini：OpenAI 的小型高效模型
• Claude Haiku 4.5：Anthropic 的高效模型

Gemma 3 系列（1B、4B、12B）也被测试了，但全面表现不佳——所有 Gemma 模型在所有配置下都明显落后于其他模型，论文在附录 10.9 中专门讨论了这个问题。这可能与 Gemma 的指令微调策略有关，提示格式可能与 SMART 的结构化提示不兼容。

评估指标是 BAccuracy（Balanced Accuracy）——支持类和驳斥类各自的准确率取平均。这个指标比原始准确率更公平，因为数据集中的支持/驳斥分布可能不均衡。

所有结果都是 3 次运行的平均值，附有标准差。

基线对比

论文比较了 SMART 的三种配置与两个基线：

• SMART-PK：使用参数化知识（模型自我反思）验证前提
• SMART-WS：使用网络搜索文档验证前提
• X-SMART-PK：跨模型方法——模型 A 生成前提，模型 B 推理
• CoT：标准思维链
• RAG：简单网络搜索增强生成

主要结果

SMART 相对于 CoT 和 RAG 的提升是显著的。以 SMART-PK 为例：

• 在 SFBench 上，平均提升 10%（BAccuracy）
• 在 SciFact 上，平均提升 5%
• 最高提升达 20%（相对于 CoT）

RAG 的表现远低于 CoT——这证实了简单的网络搜索不仅帮助有限，甚至可能引入噪音误导推理。SMART-WS 的性能也不如 SMART-PK，因为网络搜索的结果质量参差不齐——有时候搜索返回的是与声明相关但不可靠的网站（论文提到 SciFact 声明甚至遇到了"bait-and-switch"网站的护栏错误）。

一个值得注意的结果是 Llama-3.1 70B 表现不如 Qwen3 32B，尽管前者参数量是后者的两倍多。分析表明这是因为 Llama 70B 生成的反对前提不够多，且在策划阶段表现不佳——这说明模型规模不是决定 SMART 效果的唯一因素，生成多样化前提的能力和策划的精细度同样重要。

为什么 SMART 有效？分解分析

论文通过多个消融实验揭示了 SMART 有效的深层原因。

理由质量更高。 SMART 生成的推理理由比 CoT 更有信息量。在 CoT 中，23-78% 的驳斥理由使用"缺乏支持信息"——这在逻辑上是不健全的。而 SMART 的这个比例只有 11-46%——因为 SMART 的前提提供了具体的知识支持，模型不再需要以"不知道"作为驳斥的理由。

性能膨胀更小。 论文引入了"Refute Filter"——用 LLM 裁判检查驳斥理由是否有充分证据支持。如果不充分，就认为是"性能膨胀"（performance inflation）。过滤后，CoT 的 BAccuracy 下降了 3.5-46.3%，而 SMART-PK 只下降了 0.6-26.1%。这说明 SMART 的推理更扎实，不依赖"不知道就驳斥"的偷懒策略。

对比前提带来更深层的推理。 使用对比前提对（两面都考虑）比使用单一前提（只考虑一面）提升了 3-6% 的性能。这是因为对比前提迫使模型进行反事实推理——"如果 JAM-A 抑制而不是促进紧密连接形成，结论会怎样？"——这种推理方式能揭示单一视角看不到的隐含假设。

论文还对比了三种推理标记方法：状态转移标记（state-transition tokens）、自然语言前提（natural-language premises）和推理图（reasoning graphs）。状态转移标记的表现接近自然语言前提，远优于推理图——这暗示"实体的状态如何变化"是推理的核心抽象层，而图结构虽然信息等价但可能不利于模型的注意力分配。

CoRE 模块是 SMART 的一个可选组件——它只使用那些符合声明顺序的实体（即如果声明说"A 导致 B"，就只使用在声明中按 A 前 B 后顺序出现的实体）。论文发现 CoRE 在 17 个数据集×模型组合中的 12 个上都优于完整版 SMART，这说明过滤掉不符合声明顺序的实体可以减少噪音。但过滤效果因模型和任务而异——有时候被过滤掉的实体恰好提供了关键的反驳证据。

元推理者的集体推理优于独立投票。 推理法官比多数投票在 SFBench 上提升了 8%，在 SciFact 上提升了 5%。多数投票的缺陷在于它独立处理每条前提，不能捕捉前提之间的交互——就像让陪审团成员各自投票而不讨论。

验证是必要的。 对比不做验证（SMART-NV）和做验证的版本：验证平均提升了 2-7% 的性能。自我验证（PK）和跨模型验证（X-SMART）各有优势——有趣的是，使用另一个模型的前提（X-SMART）有时比使用自己的前提效果更好，因为"外来证据"减少了自我强化的偏见。

跨模型协同：谁生成前提，谁做推理？

论文发现了一个引人入胜的现象：前提生成和推理可以是分离的。

在 X-SMART-PK 设置中，模型 A 生成和策划前提，模型 B 用这些前提做最终推理。结果显示：

• 使用 Qwen3 8B 的前提，GPT-5.4-mini 在 SciFact 上提升了 6.2%
• 使用 GPT-5.4-mini 的前提，SFBench 上提升了 4%

更深入的实验（Figure 8）表明：所有模型在使用自己策划的前提时表现最差，在使用 Qwen3 8B 或 GPT-5.4-mini 策划的前提时表现更好。这意味着前提生成和前提策划是两个不同的能力——一个模型可能擅长生成多样化的前提，但不擅长筛选最好的那些。这种"劳动分工"是多智能体系统的一个意外收获。

逻辑健全性：从"我不知道"到"我知道为什么"

SMART 的一个深层贡献是提升了推理的逻辑健全性。CoT 的一个系统性缺陷是：当模型缺乏某个声明的知识时，它倾向于用"缺乏支持信息"来驳斥——这在逻辑上是不健全的，因为"没有证据支持"不等于"有证据反对"。

SMART 通过提供经过验证的具体前提，把推理从"我不知道所以这是错的"变成了"我知道这些具体事实，它们指向这个结论"。这是一个质的飞跃——从无知驱动的推理变成了知识驱动的推理。

🤔 冷静反思

SMART 的贡献在于展示了一个结构化的多智能体框架如何系统性地改善复杂推理。它的四阶段流程——识别、探索、策划、推理——不仅提升了准确率，更重要的是提升了推理的可解释性和逻辑健全性。每一条前提都可以被独立验证，每一个推理步骤都有明确的证据支持。

但它也有诚实的局限：

第一，计算开销。 SMART 需要多次 LLM 调用——识别实体、生成前提、验证前提、判断立场、元推理——每个声明可能需要 10-20 次 API 调用。对于需要实时响应的场景，这个延迟可能是不可接受的。论文没有报告具体的延迟数字，但从架构设计来看，SMART 更适合离线分析场景而非实时应用。

第二，网络搜索的不可重现性。 SMART-WS 依赖 DuckDuckGo 搜索来验证前提，但搜索结果会随时间变化——今天搜索"JAM-A 肠道通透性"返回的文档和下周可能不同。论文承认了这一点，并建议关键应用使用缓存的证据快照或维护领域专属文档库。

第三，依赖于模型的参数化知识。 SMART-PK 的有效性依赖于模型在预训练中已经学到了相关知识——它只是帮助模型"提取"这些知识。如果模型从未见过关于 JAM-A 的信息，自我验证就无法判断前提的真伪。这意味着 SMART 在长尾知识（训练数据中很少出现的领域）上的效果可能打折扣。

第四，小型模型的策划能力有限。 论文发现 Qwen3 1.7B 在前提策划（验证和筛选）上表现不佳。这揭示了一个能力门槛——SMART 的框架虽然通用，但小型模型可能无法充分利用它，因为策划阶段需要足够的推理能力来判断前提的真伪和相关性。

这暗示了一个实际的使用策略：如果你的模型足够大（如 8B 以上），SMART 可以直接带来显著提升；如果模型较小，可能需要先用更大的模型做策划，再让小模型做推理——这正是 X-SMART 跨模型方法的核心思想。

第五，可解释性的边界。 SMART 生成的推理理由比 CoT 更有信息量，但"更有信息量"不等于"完全可靠"。论文通过 Refute Filter 过滤了逻辑不健全的推理，说明即使是 SMART 也有相当比例的推理存在问题（0.6-26.1% 的性能膨胀）。这提醒我们：多智能体系统的可解释性是一个程度问题，不是二元判断。

第六，与 ReConcile 和 KnowledgeNavigator 的对比。 ReConcile 使用基于讨论的校准，KnowledgeNavigator 使用基于图的知识遍历。论文在附录中表明 SMART 在大多数配置下优于这两种方法——ReConcile 的性能与 SMART-Non-Core 相当，而 KnowledgeNavigator 仅略微优于 CoT。这说明 SMART 的优势不仅来自"多智能体"这个形式，更来自"结构化知识获取+验证"这个核心设计。

🌐 三部曲收官：精准修复的哲学

把三篇论文放在一起看，一条清晰的叙事线浮现出来。

StepBack 解决的是推理效率的问题：给定固定的采样预算，如何减少每个候选的 token 消耗？答案是精准定位错误步骤，只修复需要修复的部分。这就像一个外科医生做手术——不是每次手术失败就把病人恢复原状重新做一遍，而是精准找到出血点，只修复那个位置。

Compressed Memory 解决的是存储效率的问题：给定固定的存储预算，如何确保 Agent 的所有记忆操作都能正常工作？答案是同时保持局部保真度（L）和全局保真度（G），不能只关注近邻检索的准确性而忽视远端主题的完整性。这就像一个搬家的人——不能只关心最好的朋友是否搬到了同一个小区，还要确保整个城市的地图保持了正确的形状，否则你可能把医院"搬"到了郊区的位置。

SMART 解决的是知识效率的问题：给定有限的上下文窗口，如何确保推理建立在可靠的知识基础上？答案是结构化地获取实体状态、验证知识真伪、由元推理者综合判断。这就像一个法庭——不是让每个人随便发言，而是每个专家负责一个证人（实体），挖掘这个证人的背景和状态，然后由法官综合所有证据做出判决。

这个哲学指向了 Agent 系统设计的未来方向：不是堆砌更多的计算，而是让每一份计算都花在刀刃上。

在 StepBack 的世界里，刀刃是推理链中那个精确的出错步骤。在 Compressed Memory 的世界里，刀刃是记忆空间中那些定义主题边界的远端距离。在 SMART 的世界里，刀刃是声明中每个实体的状态及其因果链条。三个系统，三种不同的"刀刃"，但共同的原则是：先找到真正需要修复的地方，再投入资源去修复它。

这种"精准修复"的哲学与当下 AI 领域的一个广泛讨论形成了呼应：scaling law 告诉我们"更大的模型和更多的数据通常更好"，但它没有告诉我们"在固定的资源约束下，如何在不同的计算维度之间最优分配"。这三篇论文恰好回答了这个问题的一部分——在推理时计算中分配 token（StepBack），在存储预算中分配字节（Compressed Memory），在知识获取中分配注意力（SMART）。

当 Agent 走入现实世界，面对的不只是"能不能做对"的问题，还有"用多少资源才能做对"的问题。这三篇论文表明，答案不在于盲目的规模扩张，而在于对每个系统组件的深刻理解——知道什么可以省、什么必须保，然后精准地把资源花在后者身上。

📚 参考文献

• Vallurupalli, S., & Ferraro, F. (2026). SMART: State-based Multi Agent Reasoning Traces for Verification-oriented Problem-Solving. arXiv:2611.08196.
• Wadden, D., et al. (2020). Fact or Fiction: Verifying Scientific Claims. EMNLP. (SciFact)
• Wadden, D., et al. (2022). SciFact-Open: Evidence and Reasoning. [Dataset].
• Costello, et al. (2026). SFBench: Scientific Fact Verification Benchmark. [Dataset].
• Wei, J., et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. NeurIPS.
• Wang, X., et al. (2023). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171.
• Yao, S., et al. (2023). Tree of Thoughts: Deliberate Problem Solving with Large Language Models. NeurIPS.
• Schlichtkrull, M., et al. (2023). Entity-Based Knowledge Graphs. [Related work].
• Vallurupalli, S., & Ferraro, F. (2025). CoRE: Counterfactual Reasoning with Entity States. [Prior work].

#每日论文 #多智能体 #声明验证 #知识获取 #推理增强 #Agent协作 #小凯