别用大模型干小事：决策模型让 RAG 冲突分类成本暴降 39 倍

arXiv: 2610.36915 — Do We Need an LLM to Know Why Sources Conflict? Decision Models for Knowledge-Conflict Typing in RAG

一个尴尬的现实

你的 RAG 系统检索到了三条信息：

• 来源 A 说："这部电影 2024 年上映"
• 来源 B 说："这部电影 2025 年上映"
• 来源 C 说："这部电影从未上映过，以上都是谣言"

这时候你的 LLM 该信谁？怎么回应？

答案取决于冲突的类型。Cattan 等人在 2025 年发现：如果你告诉 LLM 冲突的类型（是"多个有效答案"还是"信息过时"还是"有虚假来源"），LLM 的回答质量会提升约 24 个百分点。

但问题来了：预测冲突类型本身就很难，即使对前沿 LLM 也是如此。

于是 Parv Khatri 等人（独立研究者）提出了一个看似简单却没人系统验证过的问题：

我们真的需要用 LLM 来做冲突分类吗？能不能用更便宜的"决策模型"来做这件事？

什么是"决策模型"？

这里需要区分两个概念：

• 生成式 LLM（如 Gemini、GPT）：输入一段文本，输出一段文本。本质上是"自回归生成"——一个 token 一个 token 地吐出来。
• 决策模型（Decision Model）：输入一段文本，输出一个固定选项上的概率分布。本质上是"分类器"——一次前向传播就出结果，不生成任何文本。

决策模型不是新东西。BERT-base 做情感分析就是决策模型——输入"这部电影太好看了"，输出 {正面: 0.95, 负面: 0.05}。但不知为何，在 RAG 冲突分类这个任务上，之前的研究都默认用生成式 LLM 来做分类，没人系统比较过决策模型能不能行。

这篇论文做了这个比较。结果让人震惊。

11 个决策模型 vs Gemini：全面碾压

研究者从一家商业推理网关上找到了 11 个决策模型，来自 7 家不同的提供商，用 CONFLICTS benchmark 和 Cattan 原论文的 prompt 做了完全相同的测试。

结果：

关键发现：11 个决策模型中有 10 个的准确率等于或超过 Gemini 2.5 Flash——而成本只有它的 1/4 到 1/39（有两个甚至是免费的），延迟只有它的 1/2.6 到 1/6。

也就是说，原论文花大价钱调 Gemini 来做的冲突分类，用一个小小的决策模型就能做得一样好，甚至更好，而且便宜 39 倍、快 6 倍。

级联：让便宜模型干大部分活，贵的只兜底

但故事还没完。Gemini 3.8 Flash 确实更准（70.0%），比 8 个决策模型都显著好。那要不要直接用它？

研究者设计了一个级联（cascade）策略：

1. 先用决策模型分类，同时输出置信度
2. 把置信度最低的 25% 查询转给 Gemini 3.8 Flash
3. 其余 75% 直接用决策模型的结果

结果：这个级联系统在 11 个决策模型中的 8 个上，准确率统计上与 Gemini 3.8 Flash 持平——但成本只有它的 25%-37%。

这是一个经典的"成本-质量权衡"工程实践：让便宜模型干大部分活，贵的模型只在便宜模型不确定时兜底。这个思路在语音识别、垃圾邮件过滤等领域已经用了几十年，但在 RAG 冲突分类这个任务上，之前没人系统验证过。

四个更深的发现

发现一：分解 taxonomy 会降低准确率

CONFLICTS benchmark 的冲突类型是一个多级 taxonomy（分类树）。研究者尝试把它分解成多个 yes/no 问题（"这是信息过时吗？""这是虚假来源吗？"），结果所有 11 个决策模型的准确率都下降了。

这反直觉——通常分解问题应该让分类更容易。但研究者解释：分解后每个子问题只有正例/反例两类，数据更稀疏，模型更难学到有效特征。而直接做多分类，所有类别在一起训练，特征共享更充分。

发现二：在一个模型上拟合的修复对另一个无效

研究者尝试在分解后的子任务上做"修复"（repair）——用另一个模型纠正错误。结果：在一个决策模型上拟合的修复，对另一个决策模型无效。每个模型有自己的错误模式，没有通用的修复方案。

发现三：端到端验证——便宜的类型依然有效

最关键的验证：用决策模型分类出的冲突类型，喂给生成式 LLM 后，LLM 的回答质量和用 LLM 自己分类的类型一样好。

这意味着决策模型不只是"近似 LLM"——它输出的类型标签在实际下游任务中和 LLM 一样有效。10 个决策模型中有 10 个通过了这个端到端测试。

发现四：诊断能力——决策模型能发现 LLM 看不到的模式

研究者还做了几个"诊断"实验：

• 日期冲突：决策模型能识别"信息过时"类冲突中日期的差异模式
• 来源顺序：决策模型对来源排列顺序的敏感度和 LLM 不同
• 植入虚假来源：在测试集里植入明显的假信息，决策模型的检出率和 LLM 相当

这件事为什么重要

1. "杀鸡用牛刀"是 RAG 系统的通病

当前几乎所有 RAG 系统都用 LLM 做所有事——检索、分类、生成、评估。这篇论文证明：分类这种任务，LLM 是过度配置的。

决策模型一次前向传播就出结果，不生成 token，不需要复杂的 prompt engineering，成本只有 LLM 的 1/39。在 RAG pipeline 里，冲突分类、意图识别、查询路由、来源质量评估——这些都是分类任务，都可以用决策模型替代 LLM。

2. "判断-闸门解耦"的又一个实例

这篇论文是我最近看到的"判断-闸门解耦"模式的又一个清晰实例：

• 判断（分类冲突类型）：用便宜的决策模型做
• 闸门（决定是否升级到 LLM）：用置信度阈值做
• 生成（最终回答）：用 LLM 做

这种架构的好处是：判断和生成分离，各用最合适的工具。LLM 擅长生成流畅文本，不擅长简单分类——那就让它只做生成，分类交给决策模型。

3. 级联是生产系统的标配

级联策略在工业界已经用了几十年（语音识别的声学模型→语言模型级联、垃圾邮件过滤的规则→ML 级联），但在 LLM 时代似乎被遗忘了。这篇论文提醒我们：不是所有查询都需要最贵的模型。让便宜模型处理 75% 的简单查询，贵模型只处理 25% 的困难查询，整体成本降 63%，质量不变。

4. 独立研究者也能做出好工作

这篇论文的两位主要作者（Parv Khatri、Harshul Jain）标注为"独立研究者"——没有大学挂靠，没有大厂资源。他们用商业推理网关上的现成决策模型 + 公开 benchmark，做出了一篇扎实的实证研究。这说明好的研究不一定要烧 GPU，找对一个被忽视的问题、做系统性的对比实验，就能产生有价值的洞察。

诚实的边界

论文也有局限：

• 只在 CONFLICTS benchmark 上测试了——这是一个学术 benchmark，真实 RAG 系统的冲突模式可能更复杂
• 11 个决策模型都来自一家商业网关——不同提供商的决策模型可能有不同的偏差
• 没有测试更复杂的级联策略（如多级级联、动态阈值）
• 端到端测试用的 LLM judge 可能有自己的偏差

但这些不影响核心结论：在 RAG 冲突分类这个任务上，决策模型是 LLM 的 39 倍性价比替代品。

一句话总结

别用大模型干小事。RAG 冲突分类这种任务，决策模型用 1/39 的成本、1/6 的延迟做到了和 Gemini 2.5 Flash 一样好的效果。加上级联策略，75% 的查询根本不需要 LLM 介入。这是"判断-闸门解耦"在 RAG 系统里的完美实例。

论文链接：arXiv:2610.36915

开源代码：github.com/Parv17k/decision-models-conflict-typing

相关研究：

• CONFLICTS Benchmark (Cattan et al., 2025) — 冲突类型分类的原始 benchmark

许可证：CC BY 4.0