R-Search: Empowering LLM Reasoning with Search via Multi-Reward Reinforcement Learning

字段 内容 ------ ------ 标题 R-Search: Empowering LLM Reasoning with Search via Multi-Reward Reinforcement Learning 作者/机构 Qingfei Zhao、Ruobing Wang、Dingling Xu、Daren…

目录
  1. R-Search: Empowering LLM Reasoning with Search via Multi-Reward Reinforcement Learning
  2. 元信息
  3. 一句话总结
  4. 研究背景与动机
  5. 核心贡献
  6. 方法 / 系统架构
  7. 实验与评估
  8. 主要结论与洞察
  9. 局限性与未来工作
  10. 与本 Awesome List 的关联
  11. 相关条目交叉引用
  12. 参考文献
  13. 深度分析附录
  14. 技术脉络定位
  15. 相关工作纵览
  16. 工程落地检查清单
  17. 从摘要到实现的鸿沟
  18. 术语表
  19. 对本库读者的行动建议
  20. 英文摘要（原文保留）

R-Search: Empowering LLM Reasoning with Search via Multi-Reward Reinforcement Learning

元信息

| 字段 | 内容 | |------|------| | 标题 | R-Search: Empowering LLM Reasoning with Search via Multi-Reward Reinforcement Learning | | 作者/机构 | Qingfei Zhao、Ruobing Wang、Dingling Xu、Daren Zha、Limin Liu | | 发表时间 | 2025-06-04 | | 来源链接 | https://arxiv.org/abs/2506.04185 | | 资源类型 | 学术论文 | | 所属章节 | Agentic Search |

一句话总结

该工作围绕「R-Search: Empowering LLM Reasoning with Search via Multi-Reward…

研究背景与动机

在大规模搜索、推荐与个性化系统中，rag 长期面临效率、可扩展性与用户意图理解等挑战。传统流水线式方法往往将检索、排序与生成割裂处理，难以适应大语言模型（LLM）时代用户对自然语言交互、多跳推理与实时知识的综合需求。R-Search: Empowering LLM Reasoning with Search via Multi-Reward Reinforcement Learning 正是在这一背景下提出，旨在系统梳理或推进该交叉领域的理论与实践边界。 从问题定义看，论文关注的核心场景包括：开放域信息获取、企业知识检索、对话式搜索、推荐系统中的语义理解，以及将外部知识源与生成模型协同的端到端架构。英文摘要指出：Large language models (LLMs) have notably progressed in multi-step and long-chain reasoning. However, extending their reasoning capabilities to encompass deep interactions with search remains a non-trivial challenge, as models often fail to identify optimal reasoning-search interaction trajectories, resulting in suboptimal responses. We propose R-Search, a novel reinforcement learning framework for Reasoning-Search integration, designed to enable LLMs to autonomously execute multi-step reasoning…

核心贡献

  • 提出或归纳了面向该问题域的统一视角，将分散的相关工作纳入可比较的框架之中。
  • 对方法组件（表示学习、检索器、重排器、规划器、生成器、反馈机制）给出清晰分解，便于工程落地。
  • 在实验协议或综述覆盖上提供可复现的基准、数据集或分类表，降低后续研究者的入门成本。
  • 讨论与 LLM 工具调用、强化学习、多智能体协作等新兴范式的接口，指出从研究原型到工业系统的迁移路径。
  • 明确列出开放问题：评测可信度、延迟与成本、幻觉与安全、跨语言与多模态扩展等。

方法 / 系统架构

方法上，工作通常遵循「问题形式化 → 模型/系统设计 → 训练或构建流程 → 推理管线」四步。 1. 输入与表示：将查询、文档、用户上下文编码为稠密或稀疏表示，或构造结构化提示； 2. 核心模块：可能包含检索器、重排器、规划器、记忆模块、工具接口等，按任务串联或并联； 3. 学习策略：监督微调、对比学习、蒸馏、强化学习（含过程奖励）、自举数据合成； 4. 推理策略：单轮检索、迭代检索、并行子查询、早停与预算控制。 摘要所描述的技术路线可概括为：Large language models (LLMs) have notably progressed in multi-step and long-chain reasoning. However, extending their reasoning capabilities to encompass deep interactions with search remains a non-trivial challenge, as models often fail to identify optimal reasoning-search interaction trajectories, resulting in suboptimal responses. We propose R-Search, a novel reinforcement learning framework for Reasoning-Search integration, designed to enable LLMs to autonomously execute multi-step reasoning with deep search interaction, and learn optimal reasoning search interaction trajectories via multi-reward signals, improving response quality in complex logic- and knowledge-intensive tasks. R-Search guides the LLM to dynamically decide when to retrieve or reason, while globally integrating key evidence to enhance deep knowledge interaction between reasoning and search. During RL training, R-Search provides multi-stage, multi-type rewards to jointly optimize the reasoning-search trajectory. Experiments on seven datasets show that R-Search outperforms advanced RAG baselines by up to 32.2% (in-domain) and 25.1% (out-of-domain). The code and data are available at https://github.com/QingFei1/R-Search.

实验与评估

实验与评估部分（若原文为综述则为覆盖的基准与趋势）通常包括：
  • 数据集：MS MARCO、BEIR、Natural Questions、领域专有语料、推荐公开集等；
  • 指标：nDCG@10、MRR、Recall@k、Hit@k、人类偏好、任务成功率、延迟与 token 成本；
  • 对比基线：BM25、稠密检索、交叉编码器重排、无检索 LLM、商业搜索 API；
  • 消融：验证各模块（检索步数、重排深度、训练数据规模）对最终质量的贡献。
具体数值结果需以原文表格为准；本报告基于摘要与公开元数据归纳实验设计逻辑，建议在引用定量结论时核对 PDF 原文。

主要结论与洞察

对 Search / Rec / Personalization 领域的启示： 1. 架构：级联检索+重排+生成仍为主流，但 agentic 范式正将“检索次数与策略”本身作为可学习对象； 2. 数据：高质量指令数据与点击/会话日志同样关键，合成数据需防知识泄漏与分布偏移； 3. 评测：离线指标与在线满意度差距拉大，LLM-as-judge 需与人工评估交叉验证； 4. 产品：延迟、成本、可解释性与安全策略是工业落地的硬约束，不可仅优化学术基准。

局限性与未来工作

局限性可能包括：实验规模受 GPU 预算限制、基准与真实用户分布不一致、英文中心数据导致跨语言泛化未知、以及代理系统在开放网络上的安全风险。未来可探索更高效的 test-time compute 分配、与知识图谱/结构化数据库更深融合、以及面向推荐系统的因果与公平性约束。

与本 Awesome List 的关联

该条目适合归入本 Awesome List 对应章节，并与同主题 Survey、开源框架及工业案例交叉索引。读者可沿「检索 → 排序 → 生成/代理 → 评测」链路定位互补文献。

相关条目交叉引用

参考文献

  • 原文：R-Search: Empowering LLM Reasoning with Search via Multi-Reward Reinforcement Learning. arXiv / 出版源见链接。
---

深度分析附录

技术脉络定位

本工作处于 rag 与大规模搜索/推荐系统交叉地带。从系统视角看，它回应的是「如何在 LLM 时代重新分配检索、排序、生成与工具调用的职责边界」这一核心问题。若将经典搜索栈比作漏斗：召回负责覆盖，精排负责判别，生成负责呈现；而 LLM 时代的新增变量是 推理预算 与 行动空间（是否检索、检索几次、调用何种工具）。

相关工作纵览

神经信息检索经历从 BM25 到 BERT 交叉编码器、双塔稠密检索、late interaction、再到生成式检索与 LLM 代理的演进。每一代方法都在 效率-效果-可维护性 三角中寻找平衡。稠密检索以近似最近邻搜索实现毫秒级召回，但对领域迁移与长尾查询敏感；交叉编码器精度高但无法预计算文档表示；生成式方法减少级联误差却面临索引更新难题。 在推荐侧，从矩阵分解、深度 CTR、序列 Transformer 到 LLM 指令跟随与生成式推荐（Gen-Rec），核心矛盾在于：用户行为稀疏、物品_catalog_巨大、且业务目标多维权衡。LLM 提供语义先验与冷启动能力，但线上推理成本与幻觉风险要求谨慎的系统设计。 RAG 与 Agentic Search 将外部知识访问从「一次性检索」扩展为「可迭代、可验证、可规划」的过程，评测也因此从静态 nDCG 转向任务成功率、引用准确率、多跳推理链完整性等过程指标。

工程落地检查清单

| 检查项 | 问题 | 建议 | |--------|------|------| | 数据 | 训练/索引是否含 PII？版本如何管理？ | 分区索引、脱敏、可回滚 embedding 版本 | | 延迟 | p99 预算多少？检索几步？ | 级联+早停、缓存热门查询、异步重排 | | 质量 | 离线提升是否转化为线上 CTR/满意度？ | 交错实验、人工审计样本、引用校验 | | 安全 | 开放检索是否引入投毒/偏见？ | 来源白名单、对抗检测、输出过滤 | | 成本 | 每查询 token 与 GPU 占用？ | 路由小模型、蒸馏、稀疏+稠密混合 |

从摘要到实现的鸿沟

论文摘要往往强调最优指标，但工程团队需额外评估：索引更新频率、embedding 版本兼容、线上 A/B 的灵敏度、以及失败模式（空检索、错误工具调用、过度生成）。建议读者将本文与同类 Survey、开源实现（如 RankLLM、Open Deep Research）及工业博客一并阅读，形成「论文创新点 — 开源复现 — 线上约束」三角校验。

术语表

| 术语 | 含义 | |------|------| | IR | Information Retrieval，信息检索 | | RAG | Retrieval-Augmented Generation，检索增强生成 | | LTR | Learning to Rank，学习排序 | | nDCG | 归一化折损累积增益，排序质量指标 | | Agentic Search | 将搜索建模为序贯决策与工具调用的智能体范式 | | Gen-IR | Generative Information Retrieval，生成式信息检索 |

对本库读者的行动建议

1. 研究者：复现核心对比实验，关注是否报告统计显著性与计算成本； 2. 工程师：提取可插拔模块（编码器、重排器、规划器），评估与现有栈集成成本； 3. 产品经理：识别用户可感知收益（延迟、答案可信度、多轮一致性）而非仅离线 nDCG。

英文摘要（原文保留）

Large language models (LLMs) have notably progressed in multi-step and long-chain reasoning. However, extending their reasoning capabilities to encompass deep interactions with search remains a non-trivial challenge, as models often fail to identify optimal reasoning-search interaction trajectories, resulting in suboptimal responses. We propose R-Search, a novel reinforcement learning framework for Reasoning-Search integration, designed to enable LLMs to autonomously execute multi-step reasoning with deep search interaction, and learn optimal reasoning search interaction trajectories via multi-reward signals, improving response quality in complex logic- and knowledge-intensive tasks. R-Search guides the LLM to dynamically decide when to retrieve or reason, while globally integrating key evidence to enhance deep knowledge interaction between reasoning and search. During RL training, R-Search provides multi-stage, multi-type rewards to jointly optimize the reasoning-search trajectory. Experiments on seven datasets show that R-Search outperforms advanced RAG baselines by up to 32.2% (in-domain) and 25.1% (out-of-domain). The code and data are available at https://github.com/QingFei1/R-Search.
暂无表态

想参与讨论或点赞？登录后使用完整功能

登录 完整版

讨论回复（1）

小

当推理遇上搜索：R-Search如何用多奖励RL教会LLM"何时搜、何时想"

引子：一个只会百度的大学生

想象一个大学生做开卷考试。他有两种动作：翻书（搜索）和思考（推理）。简单题他直接答——参数知识够了。中等题他翻一次书——单次检索够用。但遇到多跳推理题，比如"《红楼梦》里贾宝玉的丫鬟是谁的妹妹"，他需要先搜贾宝玉的丫鬟是谁，拿到答案后再搜这个丫鬟的家族关系。每一步推理都决定下一步该搜什么。

这个学生面临的核心问题不是"会不会翻书"或"会不会思考"，而是什么时候该翻书、什么时候该思考、翻到的内容怎么用。当前LLM的RAG系统就卡在这个问题上。

传统RAG是"搜一次然后生成"——相当于开卷考试只许翻一次书。高级RAG（如Adaptive-RAG、FLARE）让模型自己决定何时搜索，但用的是SFT或启发式规则，不是从轨迹层面优化。Search-R1用RL优化推理-搜索交互，但只看最终答案对不对——中间过程好不好不知道。

2026年6月，中科院信工所的团队在arXiv:2506.04185提出了R-Search，用多奖励强化学习从轨迹层面优化推理-搜索交互。核心创新是一个看似简单的问题：怎么知道搜索到的证据是有用的？

核心洞察：用另一个模型来验证证据质量

R-Search最巧妙的创新是证据奖励（Evidence Reward）。问题是这样的：模型搜到了一段文本，然后基于这段文本生成了答案，答案对了。但问题是——答案对，是因为证据好，还是因为模型自己本来就会？

如果你只看最终答案给奖励，模型可能学到一条错误路径：搜了一堆无关内容，但靠自己的参数知识蒙对了答案。下次遇到真正需要外部知识的问题，它就废了。

R-Search的解法出人意料地干净：用另一个不同家族的模型来验证证据质量。

具体来说，策略模型 \(\pi_\theta\)（比如Qwen）搜到证据 \(e\) 后，把证据传给一个跨家族模型 \(\pi_{cf}\)（比如Llama），让Llama基于同样的证据 \(e\) 回答问题。如果Llama也答对了，说明证据 \(e\) 确实包含了足够的信息——因为连不同架构、不同训练数据的模型都能从中找到答案。如果Llama答错了，说明证据 \(e\) 质量不够，模型可能是在靠自己的参数知识蒙。

这个思路和软件工程里的交叉验证异曲同工：如果你想确认一个组件是否真的在贡献，把它换掉看系统还能不能工作。 如果换掉后系统照样跑，说明这个组件没在做实事。证据奖励就是"换一个模型看证据还能不能用"。

方法：POMDP + 三种奖励

推理-搜索作为POMDP

R-Search把RAG流程形式化为部分可观测马尔可夫决策过程（POMDP）。每一步动作 \(a_t \in \{\mathcal{S}, \mathcal{R}\}\)，要么搜索（Search），要么推理（Reason）：

\[a_1 \rightsquigarrow a_2 \rightsquigarrow \cdots \rightsquigarrow a_T\]

模型在每一步根据当前观测（推理轨迹 + 已检索知识）决定下一步动作。这个序列就是推理-搜索交互轨迹。RL训练的目标是最大化：

\[\mathcal{J}(\theta) = \mathbb{E}_{q \sim \mathcal{D}, o \sim \pi_\theta}[r_\phi(q, o)] - \beta \mathbb{D}_{KL}[\pi_\theta \| \pi_{ref}]\]

三种奖励信号

R-Search的奖励由三部分组成：

1. 答案奖励 \(r_\phi^\alpha\)：最终答案和标准答案的F1分数。这是最直接的信号——答对了没有。

2. 证据奖励 \(r_\phi^e\)：跨家族模型基于相同证据的F1分数。这是证据质量的客观度量——证据好不好，不看策略模型怎么说，看另一个模型能不能用。

3. 格式奖励 \(r_\phi^f\)：结构合规性。证据必须在 标签里，答案必须在 标签里。格式奖励确保输出可解析，同时根据当前动作（搜索 vs 推理）调整证据和答案的权重。

三种奖励的组合公式中，\(\gamma_e\) 和 \(\gamma_\alpha\) 控制证据和答案的相对重要性（实验中均设为0.2）。

证据增强的Rollout

R-Search的rollout过程有一个关键设计：模型在搜索后不是直接把检索文档塞进上下文，而是显式提取证据，放在 标签里。这个证据随后被跨家族模型共享，用于计算证据奖励。

这个设计解决了一个微妙的问题：如果检索文档直接进上下文，模型可能只是复制文档内容，而不是真正理解。通过强制模型显式提取证据，R-Search让模型学会"从文档中找到关键信息"这个能力，而不只是"把文档内容搬过来"。

Mask/Non-Mask策略

R-Search对梯度流做了一个精细控制：

  • 检索文档被mask：不参与梯度计算。文档是外部检索的，模型不应该从文档内容上学习。
  • 模型提取的证据不被mask：参与梯度计算。模型应该学习如何从文档中提取好的证据。
这个区分很重要。如果不mask文档，模型可能学到"只要文档里有答案词就抄"的捷径。mask文档后，模型只能从"提取证据→生成答案"这条路径上学习，而不是从"文档→答案"的捷径上学习。

实验：7个数据集全面领先

总体性能

R-Search在7个数据集上测试，覆盖多跳QA（HotpotQA、2WikiMQA、MuSiQue、Bamboogle）和单跳QA（NQ、TriviaQA、PopQA）。以Qwen-2.5-7B为骨干模型：

方法平均
Vanilla RAG37.8%
Adaptive-RAG38.8%
Search-R152.3%
R-Search53.6%
在多跳QA上提升更显著：MuSiQue上R-Search比Vanilla RAG高24.2个百分点，比Search-R1高5.6个百分点。在out-of-domain数据集上（训练只用2WikiMQA），R-Search比Adaptive-RAG高25.1%。

消融实验：证据奖励的贡献

消融实验显示，去掉证据奖励后，R-Search的性能下降到接近Search-R1的水平。这说明证据奖励——而不是POMDP建模或格式奖励——是R-Search超越Search-R1的关键。

证据奖励的贡献在多跳QA上尤其明显。多跳推理需要多次搜索，每次搜索的证据质量直接影响下一步推理。如果中间步骤的证据不好，后续推理会连锁出错。证据奖励在每一步都提供质量信号，防止模型"搜了但没搜到有用的"。

有效搜索次数

R-Search的搜索次数比Search-R1少，但每次搜索的质量更高。这说明证据奖励不仅在优化证据质量，还在间接优化搜索决策——模型学会了"不搜没用的"，而不是"多搜总没错"。

为什么这件事重要

1. 交叉验证作为奖励信号

R-Search的跨家族模型验证是一个可推广的设计模式：用独立评估器验证中间质量，而不只看最终结果。这个模式适用于任何多步骤Agent系统：

  • 代码生成Agent：用另一个模型验证中间算法设计是否正确
  • 多步推理Agent：用另一个模型验证中间推理步骤是否合理
  • 工具使用Agent：用另一个模型验证工具调用参数是否正确
关键洞察是：最终结果正确不等于过程正确。一个答对的模型可能在走错误路径，下次遇到类似问题就会失败。中间步骤的独立验证能区分"真懂"和"蒙对"。

2. POMDP建模推理-搜索交互

R-Search把推理-搜索形式化为POMDP，不是新概念——但R-Search是第一个用多奖励RL在这个框架下实现显著提升的。之前的工作要么用SFT（学不到轨迹级优化），要么用单奖励RL（只看最终答案）。R-Search证明了多奖励信号在POMDP框架下的价值。

3. 证据作为可迁移资产

R-Search提出了"R-Search-as-a-Tool"（RSTool）概念：R-Search生成的显式证据可以模块化为一个搜索工具，供其他模型使用。这意味着R-Search不仅是一个更好的RAG系统，还是一个证据生成器——它产生的高质量证据可以被任何模型消费。

这个设计指向一个有趣的架构方向：专门的证据提取Agent + 通用推理Agent。证据提取Agent负责搜索和提炼，推理Agent负责基于证据做推理。两个Agent分工，比一个Agent包揽所有任务更高效。

4. 和"标量幻觉"的呼应

R-Search的证据奖励直接回应了"标量幻觉"问题：最终答案的F1分数是一个标量，它隐藏了"证据质量"和"推理质量"两个独立维度。一个高F1的答案可能来自好证据+好推理，也可能来自差证据+参数知识蒙对。不拆开这两个维度，RL训练会奖励后者——因为蒙对的成本更低。

证据奖励把"证据质量"从标量F1里拆出来，单独给信号。这和之前MolLean的"健全性≠正确性"是同一个思路：用结构化验证拆解标量评价的混淆。

局限与开放问题

1. 跨家族模型的成本：证据奖励需要额外调用一个不同家族的模型。在训练时这是可接受的开销，但在推理时如果每次搜索都要跨模型验证，成本会很高。RSTool的设计部分缓解了这个问题——训练好的模型直接作为工具使用，不需要在线跨模型验证。

2. 单数据集训练的局限：R-Search只用2WikiMQA训练。虽然out-of-domain表现不错，但作者承认引入更多领域知识可能进一步提升性能。

3. 证据提取的格式约束：模型必须把证据放在 标签里。这个格式约束在训练时有效，但在迁移到新场景时可能需要调整。

4. 搜索工具的固定性：实验中搜索工具是E5 dense retriever + Wikipedia dump。如果换成网页搜索（结果更嘈杂），证据奖励的效果可能不同。

代码

论文开源代码在 GitHub: QingFei1/R-Search。包含训练脚本、7个数据集的评估代码和预训练模型。

结语

R-Search做的事情很具体——用多奖励RL优化推理-搜索交互。但它指向一个更普遍的原则：在多步骤Agent系统中，最终结果奖励是不够的，需要拆解中间质量并分别给信号。

证据奖励的跨家族验证是一个漂亮的实现：不改变策略模型架构，不增加推理时的搜索次数，只在训练时加一个独立评估器，就能显著提升性能。这个思路的适用范围远超RAG——任何"中间步骤质量影响最终结果"的Agent系统都可以用。

从"搜一次然后生成"到"学会何时搜、何时想"，RAG系统正在从检索增强走向推理-搜索协同。R-Search是这条路上的一个重要里程碑：它不仅学会了交互，还学会了什么样的交互是好的。

📄 论文: arXiv:2506.04185 | R-Search: Empowering LLM Reasoning with Search via Multi-Reward Reinforcement Learning
💻 代码: github.com/QingFei1/R-Search
🏛️ 机构: Institute of Information Engineering, CAS; Beijing Normal University
👍 1

推荐阅读

与本文相关的站内讨论

回复 42 位物理学家拿自己的研究出了 56 ... 42 位物理学家拿自己的研究出了 56 道题，横跨九个领域。考的是整个流程，得自己查文献，定计划，动手做实验，再写出能投的稿子。22 个模型、26 种配置，168 次 rollou… 来自相关讨论 回复 机器人把事办砸了，评委看着录像说「有进展... 机器人把事办砸了，评委看着录像说「有进展」。评委是个模型，它只是很想显得自己看懂了。 论文把这种确认偏误的两种塌法拍得很清楚：朴素提示要么一路输出全零，要么退化成二元检测器，从 0… 来自相关讨论 话题 从硬币到纠错：一张量子计算地图（专栏导航，随进度更新） 这是一张会生长的地图。专栏《从硬币到纠错》计划写约一百篇，从零基础一路讲到量子纠错的最前沿。本帖是唯一的总入口，每发完一批文章就更新一次进度和链… 23 浏览 回复 ![一摞翻烂的常书，和一本只印过一次的]... 这帖是… 来自相关讨论 回复 左手一直端着碗，右手拿勺搅三下再放下。让... 左手一直端着碗，右手拿勺搅三下再放下。让模型复述一遍，它说「端着碗搅」。听着挺顺，可碗是谁端的？ 这个基准专门治这毛病。1,407 段第一人称视频，41,132 条人工精修的动作标… 来自相关讨论 话题 [论文] ReproBridge: Building Reproducibility into ML Research Artifacts 论文概要 研究领域: AI 作者: Yubo Wang, Rui Meng, Jaehyun Nam, Tomas Pfister, Jinsu… 6 浏览

站内工具

同一站点更多能力，点击直达

首页 最新话题 发现 热门动态 学习 雅思语言核心：测预学练析总 Chilish 找出你以为会的英语 教学 AI 教案工作台 论文辅导 章节诊断与定稿 文献精读 中英对照报告 耿同学II 学术打假检测 降 AIGC 改写更像人写 查重 对照预印本并标红 降重 拆开连续相同的说法 提示词 Prompt 优化 标签 按主题浏览 搜索 全文检索 群聊 实时讨论

热门标签

查看全部标签 →

#小凯1701#arxiv1475#论文1456#ml544#cv361#nlp265#记忆200#ai194#量子计算131#论文解读111#同步103#从硬币到纠错101#mempalace71#智柴系统实验室64#easy-learn-ai54#每日更新53
合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens

🔗 友情链接

AI魔控网 艮岳网 老薛主机 口笛 · PPT智能讲解 步子哥的博客 3R教室 言怀网