引用幻觉的冰山：LLM 深度研究 Agent 的事实可靠性审计
> 摘要速览：PwC 研究团队构建了首个端到端的引用质量评估框架，对 14 个主流 LLM（OpenAI、Anthropic、Google 及开源模型）生成的深度研究报告进行系统性审计。发现：前沿模型链接有效性 >94%、内容相关性 >80%，但事实准确率仅 39–77%；搜索深度从 2 增至 150 次工具调用时，事实准确率平均暴跌 42%。表面引用质量与事实可靠性之间存在系统性脱节。
---
1. 问题背景：深度研究 Agent 的信任危机
大语言模型驱动的深度研究 Agent（如 Perplexity AI、ChatGPT with web search、Google Gemini）已能合成数百个网页来源并生成带内联引用的综合报告。然而，这些引用的可靠性长期缺乏系统性评估。
现有 benchmark 的局限性：
| 现有工作 | 评估范围 | 未覆盖维度 |
|---|---|---|
| AttributionBench (Li et al., 2024) | 二元归属分类 | URL 可访问性、事实一致性 |
| CiteME (Press et al., 2024) | 学术论文引用匹配 | 实时网页、多来源合成 |
| CiteEval (Xu et al., 2025) | 细粒度引用评估 | 事实准确性闭环验证 |
| CiteAudit (Yuan et al., 2026) | 科学写作中的伪造引用 | 深度研究场景、实时网页 |
---
2. 方法论：三阶段评估 Pipeline
2.1 整体架构
研究查询 → 深度研究 Agent (Markdown 报告) → Markdown AST 解析器
↓
[引用-论断对] × N
↓
┌──────────────┬──────────────────┬─────────────────┐
↓ ↓ ↓ ↓
LinkWorks Relevant Content Fact Check 聚合报告
(URL 可访问) (主题对齐, LLM-Judge) (事实核查, LLM-Judge)
> Annotation: Markdown AST 解析器
>
> 该解析器将 LLM 生成的 Markdown 报告转换为结构化引用-论断对（AttributionDocument），核心操作包括：
> - 规范化：统一换行符和空白字符
> - 代码块剥离：防止 fenced code section 中的 false citation match
> - AST 构建与遍历：识别多种引用格式（编号引用 [1]、脚注 [^note]、内联链接 text、自动链接 [1-3]）
> - 去重注册表：生成规范化 URL 的唯一引用列表
> - 句子级分割：将连续文本拆分为独立论断
> - 反向归因逻辑：段末引用适用于该段落中所有前置未引用句子
>
> 关键设计决策：解析器不依赖 LLM 推理，完全基于确定性语法分析，确保可复现性和可扩展性。
2.2 三维度评估体系
三个维度构成递增的验证难度层级：
| 维度 | 方法 | 输出 | 检测的失败模式 |
|---|---|---|---|
| LinkWorks | HTTP 请求 + JavaScript 渲染 | 二元（可访问/不可访问） | 404、403、超时、付费墙 |
| Relevant Content | LLM-as-a-judge（人工校准） | 二元（相关/不相关）+ 自然语言解释 | 链接有效但内容与论断无关 |
| Fact Check | LLM-as-a-judge（人工校准） | 二元（支持/不支持） | 链接有效且相关，但不支持具体事实 |
2.3 实验设置
| 配置项 | 参数 |
|---|---|
| 评估模型数 | 14（OpenAI 4个、Anthropic 5个、Google 2个、开源 3个） |
| 研究查询 | 130（来自 DeepResearchBench 和 BrowseComp） |
| 并发配置 | 10 并发 Agent + 15 并发评估器 |
| 重试逻辑 | 5 次重试，5 秒延迟 |
| 消融实验 | 2 个模型 × 7 个搜索深度（2, 10, 30, 50, 70, 100, 150 工具调用） |
3. 核心实验结果
3.1 发现一：表面引用质量掩盖事实失败
表 1 汇总了 14 个模型的评估结果：
| 模型 | 任务成功率 | LinkWorks | Relevant Content | Fact Check |
|---|---|---|---|---|
| Claude Opus 4.5 | 90.0% | 98.7% | 95.7% | 76.8% |
| GPT-5.4 | 100.0% | 100.0% | 93.7% | 47.7% |
| GPT-5.2 | 100.0% | 98.3% | 92.3% | 58.8% |
| Codex | 100.0% | 96.9% | 91.9% | 54.1% |
| Claude Haiku 4.5 | 83.3% | 98.9% | 91.1% | 68.9% |
| Claude Sonnet 4.6 | 93.3% | 99.2% | 89.8% | 58.7% |
| Claude Sonnet 4.5 | 96.7% | 98.9% | 88.3% | 51.8% |
| GPT-5 Mini | 100.0% | 99.3% | 87.4% | 38.9% |
| Claude Opus 4.6 | 93.3% | 97.2% | 83.9% | 54.2% |
| Gemini 3 Flash | 100.0% | 94.7% | 82.9% | 45.2% |
| Gemini 3.1 Pro | 90.0% | 94.1% | 80.7% | 48.5% |
| OSS-120B | 40.0% | 83.9% | 68.7% | 24.4% |
| Llama 4 Maverick | 30.0% | 80.8% | 60.6% | 34.3% |
| Pixtral Large | 16.7% | 100.0% | 64.9% | 51.4% |
关键定量发现：
- 14 个模型中 12 个 LinkWorks > 94%，所有前沿模型 Relevant Content > 80%
- Fact Check 范围：24% – 77%，跨度 53 个百分点
- 事实准确性是最具区分力的维度：模型间 Fact Check 差异（53%）远大于 LinkWorks（19%）或 Relevant Content（35%）
- 开源模型任务成功率极低：17–40% vs 前沿模型 83–100%
3.2 发现二：引用数量与事实准确性呈反比
跨提供商模式分析：
| 提供商 | 特征 | Fact Check 范围 |
|---|---|---|
| OpenAI | 100% 任务成功率，最多引用（GPT-5 Mini: 1,272 总归因） | 39–59% |
| Anthropic | 较低任务成功率（83–97%），引用更精简 | 52–77% |
| 中等位置 | 45–49% |
> Annotation: 注意力稀释假说（Attention Dilution Hypothesis） > > 论文假设：在合成阶段，模型需要将注意力分布在更多检索到的段落上。随着源数量增加： > - 单个源被"深入理解"的概率下降 > - 跨源边界的事实更容易被混淆 > - 模型倾向于"平滑"冲突信息而非精确归因 > > Claude Opus 4.5 以最低任务成功率之一（90%）实现了最高 Fact Check（76.8%），支持了选择性引用策略优于穷尽性引用策略的推断。
3.3 发现三：搜索深度增加系统性降低事实准确性
消融实验结果（表 2、表 3）：
GPT-5.4：
| 工具调用 | LinkWorks | Relevant Content | Fact Check |
|---|---|---|---|
| 2 | 100.0% | 100.0% | 78.6% |
| 10 | 100.0% | 99.0% | 45.9% |
| 30 | 98.5% | 97.8% | 43.0% |
| 50 | 98.6% | 96.5% | 38.0% |
| 70 | 100.0% | 99.1% | 35.5% |
| 100 | 97.7% | 95.3% | 37.2% |
| 150 | 99.2% | 99.2% | 16.7% |
| 工具调用 | LinkWorks | Relevant Content | Fact Check |
|---|---|---|---|
| 2 | 100.0% | 100.0% | 80.0% |
| 10 | 92.3% | 92.3% | 74.4% |
| 30 | 100.0% | 100.0% | 69.2% |
| 50 | 98.0% | 98.0% | 61.2% |
| 70 | 100.0% | 97.9% | 61.7% |
| 100 | 100.0% | 100.0% | 58.7% |
| 150 | 100.0% | 100.0% | 57.9% |
| 模型 | 2 调用 → 150 调用 Fact Check 下降 | 下降幅度 | 最陡下降区间 |
|---|---|---|---|
| GPT-5.4 | 78.6% → 16.7% | –62.0% | 2→10 调用（–33%） |
| Claude Opus 4.6 | 80.0% → 57.9% | –22.1% | 2→10 调用（–6%） |
| 平均 | — | –42.1% | — |
- 非对称退化：LinkWorks 和 Relevant Content 在所有搜索深度保持 >92%，退化特异于事实合成
- GPT-5.4 的最陡下降发生在最小增量：2→10 调用即跌 33%，表明"适度增加源数量即可压倒事实合成能力"
- Claude Opus 4.6 表现出显著韧性：150 调用时仍维持 58%，但绝对值仍低于多数应用场景的可接受阈值
4. 误差分析
LinkWorks 失败的三类来源： 1. HTTP 404（内容移除或 URL 变更） 2. 访问被阻（付费墙、bot 检测） 3. 连接超时
GPT-5.4 在 2,159 次评估中仅 1 次链接失败，展示最高链接可靠性。开源模型失败率显著更高（Llama 4 Maverick 19.2%，OSS-120B 16.1%）。速率限制错误（HTTP 429）影响 <0.3%，经调整后差异 <0.5%。
---
5. 局限性与方法论反思
| 局限 | 影响 | 缓解措施 |
|---|---|---|
| LLM-as-a-judge 固有偏置 | Fact Check 和 Relevant Content 评分可能系统性偏移 | 人工审查校准（50–100 样本/模型）+ 评分表约束 |
| 网页内容的时间不稳定性 | 可复现性受限；同一查询不同时间结果可能不同 | 作者建议纵向追踪研究 |
| 评估限于 web search 模型 | 企业 RAG 场景（内部文档库）未覆盖 | 框架可扩展至私有知识库 |
| 二元评分简化 | 灰色地带（如"约2%"vs"2.1%"）被二值化 | 未来工作可考虑分级评分 |
6. 影响评估：从系统设计到用户行为
6.1 对系统设计者的启示
当前深度研究 Agent 的优化目标通常聚焦于表面指标（任务完成率、引用数量、响应长度）。本研究表明：
- 引用数量不应作为优化目标：GPT-5 Mini 生成最多引用（1,272）但 Fact Check 最低（38.9%）
- 源理解深度应优先于源覆盖广度：Claude Opus 4.5 的"少而精"策略 outperform "多而杂"
- 事实质量监控应集成至 pipeline：在 Agent 架构中加入引用-源核对步骤，而非仅依赖最终输出的表面质量
6.2 对终端用户的风险校准
用户面临的核心认知偏差：可验证性感知 ≠ 实际可靠性。当链接可点击且页面相关时，用户倾向于将报告整体标记为"可信"。本研究提供了量化依据来校准这种感知：
| 用户行为 | 实际风险 |
|---|---|
| "链接都能打开，应该没问题" | 事实准确率可能 <50% |
| "引用很多，很 thorough" | 引用越多，事实准确率可能越低 |
| "这是 GPT-5 / Claude，应该很准" | 模型身份不是 Fact Check 的可靠预测器 |
6.3 对评估基础设施的贡献
本框架的三项核心创新： 1. 确定性提取：AST 解析器无需 LLM 推理即可提取结构化引用 2. 闭环验证：不仅评估"是否有引用"，而是"引用是否被源支持" 3. 可扩展性：模块化设计支持任意 Markdown 引用格式的 LLM，可并行处理数千引用
---
7. 结论
本研究首次在深度研究场景中系统性地量化了 LLM 引用的"表面-实质"差距。核心发现可概括为三个命题：
> 命题 1：前沿 LLM 在引用生成的表面指标（链接有效性、内容相关性）上表现优异，但这些指标与事实准确性之间不存在强相关性。 > > 命题 2：事实准确性是引用质量中最具区分力且最薄弱的维度，模型间差异可达 53 个百分点。 > > 命题 3：增加搜索深度系统性降低事实准确性（平均 –42%），而表面指标保持稳定，表明存在信息过载效应。
这些发现对深度研究 Agent 的设计哲学提出了根本性质疑：当前范式优先优化"看起来像研究"的输出，而非"确实是研究"的输出。 转向以事实准确性为核心的评估和优化框架，是将 LLM 从"信息合成工具"提升为"可信研究助手"的必要条件。
未来研究方向包括：纵向追踪引用持久性、扩展至企业 RAG 部署、开发分级（非二元）事实评估协议、以及探索选择性引用策略的算法化实现。
---
📚 论文详细信息
| 项目 | 内容 |
|---|---|
| 标题 | Cited but Not Verified: Parsing and Evaluating Source Attribution in LLM Deep Research Agents |
| 作者 | Hailey Onweller, Elias Lumer, Austin Huber, Pia Ramchandani, Vamse Kumar Subbiah, Corey Feld |
| 机构 | PricewaterhouseCoopers (PwC), U.S. Commercial Technology and Innovation Office |
| arXiv ID | 2605.06635 |
| 发布日期 | 2026-05-07 |
| 分类 | cs.CL (Computation and Language) |
| 核心论点 | LLM 深度研究 Agent 的表面引用质量（链接有效性、内容相关性）与事实准确性之间存在严重脱节；14个前沿模型事实准确率仅39-77%，且搜索深度增加会进一步恶化事实准确性 |
| 评估框架 | 三阶段 Pipeline：Markdown AST 解析器提取引用 → URL 抓取 → 三维度评估（LinkWorks / Relevant Content / Fact Check） |
| 评估模型 | 14 个 LLM：OpenAI (GPT-5.4/5.2/5 Mini/Codex)、Anthropic (Claude Opus/Sonnet/Haiku 4.5/4.6)、Google (Gemini 3.1 Pro/3 Flash)、开源 (Llama 4 Maverick/Pixtral Large/OSS-120B) |
| 评估数据 | 130 个研究查询，来自 DeepResearchBench 和 BrowseComp |
| 关键结果 | 最强模型链接>94%、相关性>80%，但事实仅39-77%；GPT-5.4 从2次到150次工具调用，FactCheck从79%跌至17% |
| 论文链接 | https://arxiv.org/abs/2605.06635 |
🌟 智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用，智谱新一代旗舰模型 GLM-5 已上线，在推理、代码、智能体综合能力达到开源模型 SOTA 水平。
🎁 领取 2000万 Tokens