Retrieval Augmented Generation and Understanding in Vision: A Survey and New Outlook

元信息

| 字段 | 内容 | |------|------| | 标题 | Retrieval Augmented Generation and Understanding in Vision: A Survey and New Outlook | | 作者/机构 | Xu Zheng、Ziqiao Weng、Yuanhuiyi Lyu、Lutao Jiang、Haiwei Xue、Bin Ren 等（共 10 人） | | 发表时间 | 2025-03-23 | | 来源链接 | https://arxiv.org/abs/2503.18016 | | 资源类型 | 综述 (Survey) | | 所属章节 | Agentic Search |

一句话总结

该工作围绕「Retrieval Augmented Generation and Understanding in Vision: A Survey and…

研究背景与动机

在大规模搜索、推荐与个性化系统中，rag 长期面临效率、可扩展性与用户意图理解等挑战。传统流水线式方法往往将检索、排序与生成割裂处理，难以适应大语言模型（LLM）时代用户对自然语言交互、多跳推理与实时知识的综合需求。Retrieval Augmented Generation and Understanding in Vision: A Survey and New Outlook 正是在这一背景下提出，旨在系统梳理或推进该交叉领域的理论与实践边界。 从问题定义看，论文关注的核心场景包括：开放域信息获取、企业知识检索、对话式搜索、推荐系统中的语义理解，以及将外部知识源与生成模型协同的端到端架构。英文摘要指出：Retrieval-augmented generation (RAG) has emerged as a pivotal technique in artificial intelligence (AI), particularly in enhancing the capabilities of large language models (LLMs) by enabling access to external, reliable, and up-to-date knowledge sources. In the context of AI-Generated Content (AIGC), RAG has proven invaluable by augmenting model outputs with supplementary, relevant information, thus improving their quality. Recently, the potential of RAG has extended beyond natural language pro…

核心贡献

• 提出或归纳了面向该问题域的统一视角，将分散的相关工作纳入可比较的框架之中。
• 对方法组件（表示学习、检索器、重排器、规划器、生成器、反馈机制）给出清晰分解，便于工程落地。
• 在实验协议或综述覆盖上提供可复现的基准、数据集或分类表，降低后续研究者的入门成本。
• 讨论与 LLM 工具调用、强化学习、多智能体协作等新兴范式的接口，指出从研究原型到工业系统的迁移路径。
• 明确列出开放问题：评测可信度、延迟与成本、幻觉与安全、跨语言与多模态扩展等。

分类法 (Taxonomy)

| 维度 | 子类 | 代表思路 | 优点 | 局限 | |------|------|----------|------|------| | 建模范式 | 判别式检索 / 生成式检索 | 双塔、交叉编码器、DSI、GPT 索引 | 成熟、可扩展 | 语义漂移、更新成本 | | LLM 集成 | RAG / Agent / Tool-use | 检索增强、搜索代理、API 调用 | 灵活、可解释 | 延迟、错误传播 | | 优化目标 | 相关性 / 多样性 / 时效 | 多目标 LTR、RLHF、在线学习 | 贴近业务 | 标注稀缺 | | 评测 | Offline / Online / Human | nDCG、MRR、LLM-as-judge、A/B | 可对比 | 与真实满意度偏差 |

代表工作对比

综述通常将 dense retrieval、late interaction、generative IR 与 agentic search 四条主线并列：

• Dense：高召回、低延迟，适合第一阶段检索；
• Late interaction（如 ColBERT）：精度更高但索引更大；
• Generative IR：以生成 token 或 docid 直接“生成”文档，简化级联；
• Agentic：将搜索建模为序贯决策，支持多跳与自我反思。

时间线与研究演进

时间线上，2019–2021 年 BERT 重排与 DPR 奠定神经检索基础；2022–2023 年 RAG 与 FreshLLM 推动检索-生成融合；2024 年起 conversational / agentic search 与 Gen-RecSys 爆发；2025–2026 年强化学习训练搜索代理、深度研究（Deep Research）与 GraphRAG 成为新的增长极。

方法 / 技术路线综述

| 维度 | 子类 | 代表思路 | 优点 | 局限 | |------|------|----------|------|------| | 建模范式 | 判别式检索 / 生成式检索 | 双塔、交叉编码器、DSI、GPT 索引 | 成熟、可扩展 | 语义漂移、更新成本 | | LLM 集成 | RAG / Agent / Tool-use | 检索增强、搜索代理、API 调用 | 灵活、可解释 | 延迟、错误传播 | | 优化目标 | 相关性 / 多样性 / 时效 | 多目标 LTR、RLHF、在线学习 | 贴近业务 | 标注稀缺 | | 评测 | Offline / Online / Human | nDCG、MRR、LLM-as-judge、A/B | 可对比 | 与真实满意度偏差 | 综述通常将 dense retrieval、late interaction、generative IR 与 agentic search 四条主线并列：

• Dense：高召回、低延迟，适合第一阶段检索；
• Late interaction（如 ColBERT）：精度更高但索引更大；
• Generative IR：以生成 token 或 docid 直接“生成”文档，简化级联；
• Agentic：将搜索建模为序贯决策，支持多跳与自我反思。

时间线上，2019–2021 年 BERT 重排与 DPR 奠定神经检索基础；2022–2023 年 RAG 与 FreshLLM 推动检索-生成融合；2024 年起 conversational / agentic search 与 Gen-RecSys 爆发；2025–2026 年强化学习训练搜索代理、深度研究（Deep Research）与 GraphRAG 成为新的增长极。 论文进一步按摘要线索展开子主题讨论，强调各路线在 训练数据、推理预算 与 可验证性 上的差异。

实验与评估范式

实验与评估部分（若原文为综述则为覆盖的基准与趋势）通常包括：

• 数据集：MS MARCO、BEIR、Natural Questions、领域专有语料、推荐公开集等；
• 指标：nDCG@10、MRR、Recall@k、Hit@k、人类偏好、任务成功率、延迟与 token 成本；
• 对比基线：BM25、稠密检索、交叉编码器重排、无检索 LLM、商业搜索 API；
• 消融：验证各模块（检索步数、重排深度、训练数据规模）对最终质量的贡献。

具体数值结果需以原文表格为准；本报告基于摘要与公开元数据归纳实验设计逻辑，建议在引用定量结论时核对 PDF 原文。

主要结论与洞察

对 Search / Rec / Personalization 领域的启示： 1. 架构：级联检索+重排+生成仍为主流，但 agentic 范式正将“检索次数与策略”本身作为可学习对象； 2. 数据：高质量指令数据与点击/会话日志同样关键，合成数据需防知识泄漏与分布偏移； 3. 评测：离线指标与在线满意度差距拉大，LLM-as-judge 需与人工评估交叉验证； 4. 产品：延迟、成本、可解释性与安全策略是工业落地的硬约束，不可仅优化学术基准。

研究空白与未来方向

作者普遍指出：统一_benchmark_不足、私有数据不可复现、LLM 评测偏差、以及代理式系统的安全与成本约束。未来工作包括：更细粒度的过程监督、检索-推理协同训练、企业级元数据治理、多模态与跨语言一致性。

局限性与未来工作

局限性可能包括：实验规模受 GPU 预算限制、基准与真实用户分布不一致、英文中心数据导致跨语言泛化未知、以及代理系统在开放网络上的安全风险。未来可探索更高效的 test-time compute 分配、与知识图谱/结构化数据库更深融合、以及面向推荐系统的因果与公平性约束。

与本 Awesome List 的关联

该条目适合归入本 Awesome List 对应章节，并与同主题 Survey、开源框架及工业案例交叉索引。读者可沿「检索 → 排序 → 生成/代理 → 评测」链路定位互补文献。

相关条目交叉引用

• A Systematic Framework for Enterprise Knowledge Retrieval: Leveraging …
• Synergizing RAG and Reasoning: A Systematic Review, Apr 2025, arxiv
• AceSearcher: Bootstrapping Reasoning and Search for LLMs via Reinforce…
• AgentX: Towards Agent-Driven Self-Iteration of Industrial Recommender …
• Agentic Information Retrieval, Oct 2024, arxiv
• Agentic Search in the Wild: Intents and Trajectory Dynamics from 14M+ …

参考文献

• 原文：Retrieval Augmented Generation and Understanding in Vision: A Survey and New Outlook. arXiv / 出版源见链接。

---

深度分析附录

技术脉络定位

本工作处于 rag 与大规模搜索/推荐系统交叉地带。从系统视角看，它回应的是「如何在 LLM 时代重新分配检索、排序、生成与工具调用的职责边界」这一核心问题。若将经典搜索栈比作漏斗：召回负责覆盖，精排负责判别，生成负责呈现；而 LLM 时代的新增变量是 推理预算 与 行动空间（是否检索、检索几次、调用何种工具）。

相关工作纵览

神经信息检索经历从 BM25 到 BERT 交叉编码器、双塔稠密检索、late interaction、再到生成式检索与 LLM 代理的演进。每一代方法都在 效率-效果-可维护性 三角中寻找平衡。稠密检索以近似最近邻搜索实现毫秒级召回，但对领域迁移与长尾查询敏感；交叉编码器精度高但无法预计算文档表示；生成式方法减少级联误差却面临索引更新难题。 在推荐侧，从矩阵分解、深度 CTR、序列 Transformer 到 LLM 指令跟随与生成式推荐（Gen-Rec），核心矛盾在于：用户行为稀疏、物品_catalog_巨大、且业务目标多维权衡。LLM 提供语义先验与冷启动能力，但线上推理成本与幻觉风险要求谨慎的系统设计。 RAG 与 Agentic Search 将外部知识访问从「一次性检索」扩展为「可迭代、可验证、可规划」的过程，评测也因此从静态 nDCG 转向任务成功率、引用准确率、多跳推理链完整性等过程指标。

工程落地检查清单

| 检查项 | 问题 | 建议 | |--------|------|------| | 数据 | 训练/索引是否含 PII？版本如何管理？ | 分区索引、脱敏、可回滚 embedding 版本 | | 延迟 | p99 预算多少？检索几步？ | 级联+早停、缓存热门查询、异步重排 | | 质量 | 离线提升是否转化为线上 CTR/满意度？ | 交错实验、人工审计样本、引用校验 | | 安全 | 开放检索是否引入投毒/偏见？ | 来源白名单、对抗检测、输出过滤 | | 成本 | 每查询 token 与 GPU 占用？ | 路由小模型、蒸馏、稀疏+稠密混合 |

从摘要到实现的鸿沟

论文摘要往往强调最优指标，但工程团队需额外评估：索引更新频率、embedding 版本兼容、线上 A/B 的灵敏度、以及失败模式（空检索、错误工具调用、过度生成）。建议读者将本文与同类 Survey、开源实现（如 RankLLM、Open Deep Research）及工业博客一并阅读，形成「论文创新点 — 开源复现 — 线上约束」三角校验。

术语表

| 术语 | 含义 | |------|------| | IR | Information Retrieval，信息检索 | | RAG | Retrieval-Augmented Generation，检索增强生成 | | LTR | Learning to Rank，学习排序 | | nDCG | 归一化折损累积增益，排序质量指标 | | Agentic Search | 将搜索建模为序贯决策与工具调用的智能体范式 | | Gen-IR | Generative Information Retrieval，生成式信息检索 |

对本库读者的行动建议

1. 研究者：复现核心对比实验，关注是否报告统计显著性与计算成本； 2. 工程师：提取可插拔模块（编码器、重排器、规划器），评估与现有栈集成成本； 3. 产品经理：识别用户可感知收益（延迟、答案可信度、多轮一致性）而非仅离线 nDCG。

英文摘要（原文保留）

> Retrieval-augmented generation (RAG) has emerged as a pivotal technique in artificial intelligence (AI), particularly in enhancing the capabilities of large language models (LLMs) by enabling access to external, reliable, and up-to-date knowledge sources. In the context of AI-Generated Content (AIGC), RAG has proven invaluable by augmenting model outputs with supplementary, relevant information, thus improving their quality. Recently, the potential of RAG has extended beyond natural language processing, with emerging methods integrating retrieval-augmented strategies into the computer vision (CV) domain. These approaches aim to address the limitations of relying solely on internal model knowledge by incorporating authoritative external knowledge bases, thereby improving both the understanding and generation capabilities of vision models. This survey provides a comprehensive review of the current state of retrieval-augmented techniques in CV, focusing on two main areas: (I) visual understanding and (II) visual generation. In the realm of visual understanding, we systematically review tasks ranging from basic image recognition to complex applications such as medical report generation and multimodal question answering. For visual content generation, we examine the application of RAG in tasks related to image, video, and 3D generation. Furthermore, we explore recent advancements in RAG for embodied AI, with a particular focus on applications in planning, task execution, multimodal perception, interaction, and specialized domains. Given that the integration of retrieval-augmented techniques in CV is still in its early stages, we also highlight the key limitations of current approaches and propose future research directions to drive the development of this promising area.