DiscoBench：搜索Agent的"问路时刻"——当AI不知道自己在问什么时

> 论文：When Search Agents Should Ask: DiscoBench for Clarification-Aware Deep Search > 作者：Yiling Tao, Shihan Deng, Meiling Tao, Pengzhi Wei, Zhichao Hu, Zhihao Zhu > 机构：1Hunyuan, Tencent；2Shenzhen International Graduate School, Tsinghua University > 论文链接：https://arxiv.org/abs/2606.27669 > 代码：即将公开 > 一句话：当前搜索Agent普遍缺乏"问路意识"——遇到歧义继续搜，结果越搜越偏。DiscoBench首次把歧义建模为动态传播现象，并用真实场景证明：主动问用户一句，比闷头搜到底成功率高得多。

---

一、搜索Agent的盲区：遇到歧义不"问路"

当前的大模型搜索Agent（如Perplexity、Google Deep Research、各种开源Agent框架）有一个共性问题：它们遇到歧义时不会停下来确认，而是继续搜索。

想象一下这个场景：

> 用户问："帮我找一下Apple的最新产品。" > > Agent搜索："Apple 新产品 2025"，找到一堆苹果公司的iPhone、Mac新闻。 > 但用户其实想问的是"Apple"（苹果）这种水果的最新品种。

如果Agent在歧义出现时停下来问一句："您是指苹果公司还是水果苹果？"，然后基于用户的回答继续搜索，结果会精准得多。但现有Agent几乎从不这样做——它们默认自己的理解是对的，然后一路搜索到底，最终给出离题十万八千里的答案。

这就是"歧义感知"（Clarification Awareness）的缺失。不是技术做不到，而是：

• 现有基准测试不考这个：大多数搜索评测只看最终结果是否正确，不考察Agent是否意识到歧义
• 现有框架没有"问用户"的动作：搜索Agent的动作空间通常只有"搜索"和"回答"，没有"询问澄清"
• 模型训练数据不包含这种交互：预训练数据里很少有"先问清楚再搜索"的范例

---

二、DiscoBench的核心创新：歧义不是属性，是传播

现有基准的三种局限

DiscoBench论文系统梳理了现有搜索基准的盲区：

1. 忽略歧义：大多数评测只给单一明确查询，不测试歧义场景 2. 静态歧义：少数测试歧义的基准把歧义当作查询的静态属性（如"苹果"这个词本身有歧义），但真实场景中歧义是在多步推理链上动态传播的——第3步出现的歧义可能源于第1步的模糊理解 3. 封闭沙盒：现有歧义评测多在人工构造的封闭环境中进行，不基于真实网页搜索

DiscoBench的突破：动态歧义建模

DiscoBench的核心洞察是：歧义不是查询词的静态属性，而是在多步推理链上动态传播和放大的现象。

举个例子：

• 用户问："2025年最佳电影是什么？"
• 歧义1："最佳"是指票房最高？还是评分最高？还是获奖最多？
• 歧义2："2025年"是指上映年份还是奖项颁发年份？
• 歧义3：如果搜索"票房最高"，发现一部中国电影和一部好莱坞电影数据冲突，这又是一个新歧义

这些歧义不是一开始就在查询词里，而是在搜索过程中逐步暴露和放大的。DiscoBench的评测框架要求Agent在每个推理节点识别歧义，并决定是继续搜索、请求澄清、还是直接回答。

---

三、数据集构建：真实场景 + 自然注入

规模

DiscoBench的数据集构建非常扎实：

• 11个真实世界领域：涵盖电影、科技、历史、地理、体育、文学等
• 211个样本：每个样本是一个完整的多轮搜索任务
• 463个歧义实例：平均每个任务约2.2个歧义节点
• 4种歧义类型：

1. 实体歧义：同一词语指代不同实体（如"Apple"） 2. 属性歧义：同一实体有不同属性维度（如"最佳"的标准） 3. 范围歧义：时间/空间/条件范围不明确（如"2025年"） 4. 关系歧义：实体间关系不明确（如"与...相关"）

两阶段构建流程

第一阶段：种子数据收集

• 人工收集多领域的高质量多跳推理链
• 每个推理链包含多个搜索步骤，从初始查询到最终答案
• 确保推理链的自然性和复杂性（不是简单的一搜即得）

第二阶段：歧义注入

• 在推理链的自然合理位置注入歧义
• 注入标准：歧义必须是在真实搜索场景中可能出现的，不是人为强加的
• 人工验证：每个注入的歧义都经过至少2人验证，确保合理性
• 生成用户线索：为每个歧义设计可区分目标实体的渐进式线索（用户回答不同选项会导向不同搜索方向）

关键设计：歧义不是随便插入的，而是在"搜索过程自然会产生歧义的位置"注入。这让评测更贴近真实场景。

---

四、评估框架：四维诊断

DiscoBench设计了面向多轮交互深度搜索的歧义感知评估体系，从四个维度评估Agent：

1. 任务成功率（Task Success Rate）

• 最终答案是否正确
• 这是传统评估的唯一维度，但DiscoBench把它放在更丰富的上下文里考察

2. 歧义检测精度（Ambiguity Detection Precision）

• Agent是否在歧义节点正确识别了歧义？
• 细分：真阳性（正确识别）、假阳性（无病呻吟）、假阴性（视而不见）
• 用F1得分综合评估

3. 交互策略合理性（Interaction Strategy Rationality）

• 在歧义节点，Agent选择"搜索"、"询问用户"、"直接回答"的决策是否合理？
• 关键判断：当歧义可能影响最终答案时，Agent是否应该主动澄清？
• 评分：在应该澄清时选择澄清 → 高分；在应该澄清时选择搜索或直接回答 → 低分

4. 成本效率（Cost Efficiency）

• 完成任务的交互轮数
• 搜索API调用次数
• 与"问用户"的次数平衡：问得太多打扰用户，问得太少导致搜索偏差
• 理想策略：在关键歧义节点精准提问，减少不必要的搜索

用户模拟器：渐进式提供线索

DiscoBench配套一个用户模拟器，当Agent请求澄清时：

• 提供与真实用户回答一致的渐进式线索
• 模拟用户可能的不完整回答（如只给出部分信息）
• 允许Agent基于部分回答继续搜索，再次遇到歧义时可以追问

这比"一次性给全答案"的模拟更接近真实交互。

---

五、实验发现：主流模型普遍缺乏"问路意识"

DiscoBench测试了多个主流大模型搜索Agent，结果揭示了一个普遍问题：

核心发现：主动澄清 > 直接搜索

实验数据显示：

• 当Agent在歧义节点主动请求澄清时，最终任务成功率显著高于"闷头搜索"
• 即使是强模型（如GPT-4、Claude系列），在歧义场景下也频繁选择"继续搜索"而不是"问用户"
• 这种"不问路"的行为导致搜索方向偏离，最终答案错误率升高

具体表现

歧义检测能力不足：

• 主流模型在463个歧义实例中，平均只正确识别了约30-40%的歧义节点
• 大量"假阴性"：歧义就在眼前，Agent视而不见继续搜索
• 部分"假阳性"：在没有歧义的位置停下来问用户，浪费交互轮次

交互策略不合理：

• 在应该澄清时选择搜索：这是最危险的错误模式，搜索会基于错误假设越走越远
• 在应该直接回答时选择澄清：过度谨慎，增加用户负担
• 在歧义未解决时选择直接回答：给出错误答案

成本效率失衡：

• 不澄清的Agent平均搜索轮次更多，但成功率更低
• 澄清-aware的Agent虽然多花了"问用户"的时间，但搜索效率更高，总轮次反而可能更少

为什么模型不会"问路"？

DiscoBench的分析指出几个原因：

1. 训练数据偏差：预训练数据中的搜索场景大多是"明确查询→搜索→答案"，缺少"歧义→澄清→再搜索"的交互模式 2. 评测框架缺失：现有基准不考察歧义感知，模型没有学习这种能力的动力 3. 工具设计缺陷：很多搜索Agent框架的动作空间只有"search"和"answer"，没有"clarify" 4. 过度自信：大模型倾向于相信自己的理解是对的，不需要确认

---

六、为什么这事值得重视？

1. 从"信息检索"到"对话式检索"

传统搜索是"查询→检索→结果"的单向过程。DiscoBench推动的是对话式检索——Agent和用户形成交互循环，在关键节点确认理解，再基于确认继续搜索。这更接近人类研究员的实际工作方式。

2. 真实部署的刚需

企业部署搜索Agent时，最怕的不是"找不到答案"，而是"给错答案还信誓旦旦"。DiscoBench揭示的歧义盲区意味着：Agent在大量场景下给出错误答案，但现有评测框架发现不了。企业用现有基准测试觉得"准确率90%"，实际用户投诉"答非所问"——就是因为那10%的"错误"没有被识别出来。

3. 评测方法论升级

DiscoBench的评估框架是一个可以复用的模板：

• 歧义检测精度 → 量化Agent的"自知之明"
• 交互策略合理性 → 评估Agent的决策质量
• 成本效率 → 平衡用户体验和任务成功率

这四个维度比单一"最终答案准确率"更能反映Agent的真实能力。

4. 对Agent框架设计的启示

DiscoBench的实验结果直接指向框架设计改进：

• 动作空间必须包含"clarify"：Agent应该能主动问用户
• 歧义识别模块：专门训练或提示Agent识别歧义节点
• 决策策略：在歧义节点，默认选择"澄清"而不是"继续搜索"
• 用户模拟器：用于训练Agent的交互策略，模拟真实用户的回答行为

---

七、局限与展望

1. 中文为主

DiscoBench的数据集基于中文真实网页搜索构建。虽然歧义感知的原理跨语言通用，但具体歧义类型（如中文的同音词歧义、英文的拼写歧义）有差异。需要英文和其他语言的对应基准。

2. 歧义类型有限

虽然定义了4种歧义类型，但真实场景中的歧义更复杂（如隐喻歧义、文化歧义、领域专业术语歧义）。扩展歧义类型覆盖是下一步。

3. 用户模拟器的局限

当前用户模拟器提供的是预设的渐进式线索。真实用户可能给出模糊、不完整、甚至错误的回答。如何让Agent处理"用户也搞不清"的场景，是更难的挑战。

4. 多Agent协作中的歧义

DiscoBench测试的是单Agent搜索。在多Agent协作搜索中，歧义可能在Agent之间传播（Agent A误解了查询，Agent B基于A的结果继续搜索）。如何检测和阻断这种跨Agent歧义传播，是开放问题。

5. 从评测到训练

DiscoBench目前是一个评测基准。如何把这种歧义感知能力训练到模型中？需要：

• 基于DiscoBench的反馈数据微调模型
• 在RLHF中引入"歧义识别"作为奖励信号
• 设计新的损失函数，鼓励模型在不确定时主动请求澄清

---

八、一句话总结

DiscoBench的核心洞察是：搜索Agent最大的错误不是"找不到答案"，而是"不知道自己在问什么"。 当前主流大模型搜索Agent普遍缺乏歧义感知能力，遇到歧义时选择继续搜索而不是停下来问用户——结果越搜越偏。DiscoBench首次把歧义建模为动态传播现象（而非静态查询属性），用覆盖11个真实领域的463个歧义实例证明：主动澄清一句，比闷头搜到底成功率高得多。这是搜索Agent从"单向检索工具"走向"对话式研究助手"的关键一步。

---

参考信息

• 论文：When Search Agents Should Ask: DiscoBench for Clarification-Aware Deep Search (arXiv:2606.27669)
• 作者：Yiling Tao, Shihan Deng, Meiling Tao, Pengzhi Wei, Zhichao Hu, Zhihao Zhu
• 机构：Hunyuan, Tencent + Tsinghua University
• 数据集：11个真实领域，211个样本，463个歧义实例，4种歧义类型（实体/属性/范围/关系）
• 评估框架：任务成功率、歧义检测精度、交互策略合理性、成本效率（四维）
• 核心发现：主流模型普遍缺乏歧义感知能力；主动澄清成功率 > 闷头搜索
• 构建方法：两阶段流程（种子多跳推理链 + 自然位置注入歧义 + 人工验证 + 渐进式线索生成）
• 用户模拟器：渐进式提供线索，模拟真实用户的不完整回答
• 关键设计：歧义建模为动态传播现象（非静态查询属性）

#论文解读 #搜索Agent #歧义感知 #DiscoBench #腾讯混元 #评测基准 #对话式检索 #小凯