Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning

字段 内容 ------ ------ 标题 Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning 作者/机构 Bowen Jin、Hansi Zeng、Zhenrui Yue、Jinsun…

目录
  1. Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning
  2. 元信息
  3. 一句话总结
  4. 研究背景与动机
  5. 核心贡献
  6. 方法 / 系统架构
  7. 实验与评估
  8. 主要结论与洞察
  9. 局限性与未来工作
  10. 与本 Awesome List 的关联
  11. 相关条目交叉引用
  12. 参考文献
  13. 深度分析附录
  14. 技术脉络定位
  15. 相关工作纵览
  16. 工程落地检查清单
  17. 从摘要到实现的鸿沟
  18. 术语表
  19. 对本库读者的行动建议
  20. 英文摘要（原文保留）

Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning

元信息

| 字段 | 内容 | |------|------| | 标题 | Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning | | 作者/机构 | Bowen Jin、Hansi Zeng、Zhenrui Yue、Jinsung Yoon、Sercan Arik、Dong Wang 等（共 8 人） | | 发表时间 | 2025-03-12 | | 来源链接 | https://arxiv.org/abs/2503.09516 | | 资源类型 | 学术论文 | | 所属章节 | FreshLLM and similar architectures (LLM and large scale search) |

一句话总结

该工作围绕「Search-R1: Training LLMs to Reason and Leverage Search Engines with…

研究背景与动机

在大规模搜索、推荐与个性化系统中，rag 长期面临效率、可扩展性与用户意图理解等挑战。传统流水线式方法往往将检索、排序与生成割裂处理，难以适应大语言模型（LLM）时代用户对自然语言交互、多跳推理与实时知识的综合需求。Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning 正是在这一背景下提出，旨在系统梳理或推进该交叉领域的理论与实践边界。 从问题定义看，论文关注的核心场景包括：开放域信息获取、企业知识检索、对话式搜索、推荐系统中的语义理解，以及将外部知识源与生成模型协同的端到端架构。英文摘要指出：Efficiently acquiring external knowledge and up-to-date information is essential for effective reasoning and text generation in large language models (LLMs). Prompting advanced LLMs with reasoning capabilities to use search engines during inference is often suboptimal, as the LLM might not fully possess the capability on how to interact optimally with the search engine. This paper introduces Search-R1, an extension of reinforcement learning (RL) for reasoning frameworks where the LLM learns to a…

核心贡献

  • 提出或归纳了面向该问题域的统一视角，将分散的相关工作纳入可比较的框架之中。
  • 对方法组件（表示学习、检索器、重排器、规划器、生成器、反馈机制）给出清晰分解，便于工程落地。
  • 在实验协议或综述覆盖上提供可复现的基准、数据集或分类表，降低后续研究者的入门成本。
  • 讨论与 LLM 工具调用、强化学习、多智能体协作等新兴范式的接口，指出从研究原型到工业系统的迁移路径。
  • 明确列出开放问题：评测可信度、延迟与成本、幻觉与安全、跨语言与多模态扩展等。

方法 / 系统架构

方法上，工作通常遵循「问题形式化 → 模型/系统设计 → 训练或构建流程 → 推理管线」四步。 1. 输入与表示：将查询、文档、用户上下文编码为稠密或稀疏表示，或构造结构化提示； 2. 核心模块：可能包含检索器、重排器、规划器、记忆模块、工具接口等，按任务串联或并联； 3. 学习策略：监督微调、对比学习、蒸馏、强化学习（含过程奖励）、自举数据合成； 4. 推理策略：单轮检索、迭代检索、并行子查询、早停与预算控制。 摘要所描述的技术路线可概括为：Efficiently acquiring external knowledge and up-to-date information is essential for effective reasoning and text generation in large language models (LLMs). Prompting advanced LLMs with reasoning capabilities to use search engines during inference is often suboptimal, as the LLM might not fully possess the capability on how to interact optimally with the search engine. This paper introduces Search-R1, an extension of reinforcement learning (RL) for reasoning frameworks where the LLM learns to autonomously generate (multiple) search queries during step-by-step reasoning with real-time retrieval. Search-R1 optimizes LLM reasoning trajectories with multi-turn search interactions, leveraging retrieved token masking for stable RL training and a simple outcome-based reward function. Experiments on seven question-answering datasets show that Search-R1 improves performance by 41% (Qwen2.5-7B) and 20% (Qwen2.5-3B) over various RAG baselines under the same setting. This paper further provides empirical insights into RL optimization methods, LLM choices, and response length dynamics in retrieval-augmented reasoning. The code and model checkpoints are available at https://github.com/PeterGriffinJin/Search-R1.

实验与评估

实验与评估部分（若原文为综述则为覆盖的基准与趋势）通常包括：
  • 数据集：MS MARCO、BEIR、Natural Questions、领域专有语料、推荐公开集等；
  • 指标：nDCG@10、MRR、Recall@k、Hit@k、人类偏好、任务成功率、延迟与 token 成本；
  • 对比基线：BM25、稠密检索、交叉编码器重排、无检索 LLM、商业搜索 API；
  • 消融：验证各模块（检索步数、重排深度、训练数据规模）对最终质量的贡献。
具体数值结果需以原文表格为准；本报告基于摘要与公开元数据归纳实验设计逻辑，建议在引用定量结论时核对 PDF 原文。

主要结论与洞察

对 Search / Rec / Personalization 领域的启示： 1. 架构：级联检索+重排+生成仍为主流，但 agentic 范式正将“检索次数与策略”本身作为可学习对象； 2. 数据：高质量指令数据与点击/会话日志同样关键，合成数据需防知识泄漏与分布偏移； 3. 评测：离线指标与在线满意度差距拉大，LLM-as-judge 需与人工评估交叉验证； 4. 产品：延迟、成本、可解释性与安全策略是工业落地的硬约束，不可仅优化学术基准。

局限性与未来工作

局限性可能包括：实验规模受 GPU 预算限制、基准与真实用户分布不一致、英文中心数据导致跨语言泛化未知、以及代理系统在开放网络上的安全风险。未来可探索更高效的 test-time compute 分配、与知识图谱/结构化数据库更深融合、以及面向推荐系统的因果与公平性约束。

与本 Awesome List 的关联

该条目适合归入本 Awesome List 对应章节，并与同主题 Survey、开源框架及工业案例交叉索引。读者可沿「检索 → 排序 → 生成/代理 → 评测」链路定位互补文献。

相关条目交叉引用

参考文献

  • 原文：Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning. arXiv / 出版源见链接。
---

深度分析附录

技术脉络定位

本工作处于 rag 与大规模搜索/推荐系统交叉地带。从系统视角看，它回应的是「如何在 LLM 时代重新分配检索、排序、生成与工具调用的职责边界」这一核心问题。若将经典搜索栈比作漏斗：召回负责覆盖，精排负责判别，生成负责呈现；而 LLM 时代的新增变量是 推理预算 与 行动空间（是否检索、检索几次、调用何种工具）。

相关工作纵览

神经信息检索经历从 BM25 到 BERT 交叉编码器、双塔稠密检索、late interaction、再到生成式检索与 LLM 代理的演进。每一代方法都在 效率-效果-可维护性 三角中寻找平衡。稠密检索以近似最近邻搜索实现毫秒级召回，但对领域迁移与长尾查询敏感；交叉编码器精度高但无法预计算文档表示；生成式方法减少级联误差却面临索引更新难题。 在推荐侧，从矩阵分解、深度 CTR、序列 Transformer 到 LLM 指令跟随与生成式推荐（Gen-Rec），核心矛盾在于：用户行为稀疏、物品_catalog_巨大、且业务目标多维权衡。LLM 提供语义先验与冷启动能力，但线上推理成本与幻觉风险要求谨慎的系统设计。 RAG 与 Agentic Search 将外部知识访问从「一次性检索」扩展为「可迭代、可验证、可规划」的过程，评测也因此从静态 nDCG 转向任务成功率、引用准确率、多跳推理链完整性等过程指标。

工程落地检查清单

| 检查项 | 问题 | 建议 | |--------|------|------| | 数据 | 训练/索引是否含 PII？版本如何管理？ | 分区索引、脱敏、可回滚 embedding 版本 | | 延迟 | p99 预算多少？检索几步？ | 级联+早停、缓存热门查询、异步重排 | | 质量 | 离线提升是否转化为线上 CTR/满意度？ | 交错实验、人工审计样本、引用校验 | | 安全 | 开放检索是否引入投毒/偏见？ | 来源白名单、对抗检测、输出过滤 | | 成本 | 每查询 token 与 GPU 占用？ | 路由小模型、蒸馏、稀疏+稠密混合 |

从摘要到实现的鸿沟

论文摘要往往强调最优指标，但工程团队需额外评估：索引更新频率、embedding 版本兼容、线上 A/B 的灵敏度、以及失败模式（空检索、错误工具调用、过度生成）。建议读者将本文与同类 Survey、开源实现（如 RankLLM、Open Deep Research）及工业博客一并阅读，形成「论文创新点 — 开源复现 — 线上约束」三角校验。

术语表

| 术语 | 含义 | |------|------| | IR | Information Retrieval，信息检索 | | RAG | Retrieval-Augmented Generation，检索增强生成 | | LTR | Learning to Rank，学习排序 | | nDCG | 归一化折损累积增益，排序质量指标 | | Agentic Search | 将搜索建模为序贯决策与工具调用的智能体范式 | | Gen-IR | Generative Information Retrieval，生成式信息检索 |

对本库读者的行动建议

1. 研究者：复现核心对比实验，关注是否报告统计显著性与计算成本； 2. 工程师：提取可插拔模块（编码器、重排器、规划器），评估与现有栈集成成本； 3. 产品经理：识别用户可感知收益（延迟、答案可信度、多轮一致性）而非仅离线 nDCG。

英文摘要（原文保留）

Efficiently acquiring external knowledge and up-to-date information is essential for effective reasoning and text generation in large language models (LLMs). Prompting advanced LLMs with reasoning capabilities to use search engines during inference is often suboptimal, as the LLM might not fully possess the capability on how to interact optimally with the search engine. This paper introduces Search-R1, an extension of reinforcement learning (RL) for reasoning frameworks where the LLM learns to autonomously generate (multiple) search queries during step-by-step reasoning with real-time retrieval. Search-R1 optimizes LLM reasoning trajectories with multi-turn search interactions, leveraging retrieved token masking for stable RL training and a simple outcome-based reward function. Experiments on seven question-answering datasets show that Search-R1 improves performance by 41% (Qwen2.5-7B) and 20% (Qwen2.5-3B) over various RAG baselines under the same setting. This paper further provides empirical insights into RL optimization methods, LLM choices, and response length dynamics in retrieval-augmented reasoning. The code and model checkpoints are available at https://github.com/PeterGriffinJin/Search-R1.
暂无表态

想参与讨论或点赞？登录后使用完整功能

登录 完整版

讨论回复（1）

小

当推理模型学会搜索：Search-R1 如何用强化学习教会 LLM "边想边查"

一个尴尬的场景

问一个推理模型这样一个问题："Curious 是一款女用香水，它的代言歌手出生在哪个城市和州？"

如果你用 DeepSeek-R1 这样的纯推理模型（不带搜索），它会这样回答：

*思考：歌手是 Beyoncé，她出生在 Houston, Texas。*
*答案：Houston*

错了。Curious 香水的代言人是 Britney Spears，她出生在 McComb, Mississippi。但 R1 模型从来没听说过"Curious 香水"这个冷知识，它的预训练数据里没有这条信息。于是它做了所有 LLM 都会做的事——用最相似的关联来填补空白。它知道 Beyoncé 有香水线，就"推理"出了 Houston。

这正是 Bowen Jin 等人在伊利诺伊大学厄巴纳-香槟分校和马萨诸塞大学阿默斯特分校的论文《Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning》中要解决的问题。

论文的答案是：不要让模型"猜"，要让它"查"。但"查"这件事，比看起来难得多。

现有方案为什么不够好

让 LLM 使用搜索引擎，现有方案主要有两种：

方案一：RAG（检索增强生成）。先把问题编码成向量，从语料库里检索相关文档，然后把文档塞进 LLM 的上下文，让它基于文档生成答案。

问题：RAG 只能做单轮检索——一次查询，一次返回。但很多问题需要多轮检索。比如上面的香水问题，你需要先查"Curious 香水代言人是谁"，得到 Britney Spears 后，再查"Britney Spears 出生在哪里"。RAG 用原始问题"Curious 香水代言人出生在哪里"做一次检索，很可能两个文档都检索不到。

方案二：工具调用（Tool Use）。让 LLM 在推理过程中主动调用搜索引擎。这可以通过 prompting 实现（如 ReAct、Toolformer），也可以通过 SFT 训练实现。

问题：Prompting 方式依赖模型已有的工具调用能力，泛化性差。SFT 方式需要大量高质量的"推理+搜索"交互轨迹数据，成本高且难扩展。

那用强化学习呢？DeepSeek-R1 已经证明，纯 RL 训练可以让模型学会复杂推理，不需要任何人工标注的推理轨迹。那能不能用同样的思路，让模型学会"边推理边搜索"？

这就是 Search-R1 的核心思路。

Search-R1 的方法：把搜索变成推理的一部分

Search-R1 的设计哲学是：搜索不是推理的中断，而是推理的延伸。

交互模板

Search-R1 用一个简洁的模板来结构化模型的输出：

<think> 推理过程 </think>
<search> 搜索查询 </search>
<information> 搜索引擎返回的文档 </information>

...
<answer> 最终答案 </answer>

模型在 标签里推理，如果发现自己缺少知识，就生成一个 查询，搜索引擎返回结果放在 里，模型继续推理。这个过程可以重复多次，直到模型有足够的信息给出 。

关键设计决策：模板只约束结构，不约束内容。模板不强制模型"必须反思"或"必须先搜索再推理"——模型自己决定什么时候搜索、搜什么。这确保了 RL 训练过程中模型的自然学习动态是可观察的，不被人为偏见扭曲。

奖励函数：极简主义的力量

Search-R1 的奖励函数极其简单：

\[r_\phi(x, y) = \text{EM}(a_{\text{pred}}, a_{\text{gold}})\]

就是最终答案的 Exact Match——对了给 1，错了给 0。没有格式奖励，没有过程奖励，没有神经奖励模型。

这个设计有几个重要考量：

1. 不用格式奖励：因为模型在 RL 训练后自然学会了遵循模板格式，不需要额外激励 2. 不用神经奖励模型：因为神经奖励模型在大规模 RL 中容易被"奖励黑客"——模型学会欺骗奖励模型而不是真正完成任务 3. 只用规则：EM 是确定性的、不可欺骗的。模型要拿分，就必须给出正确答案

这个极简奖励函数和 DeepSeek-R1 的设计哲学一脉相承——让模型自己探索最优策略，而不是用复杂奖励塑造来"引导"它。

检索 token 掩码：稳定训练的关键技巧

这是 Search-R1 最重要的技术贡献。

在多轮搜索交互中，模型的上下文里混合了两种 token：

  • 模型自己生成的 token：推理过程、搜索查询、最终答案
  • 搜索引擎返回的 token：检索到的文档内容
如果在 RL 训练中对所有 token 都计算 loss，模型会试图"学习"检索文档的分布——但它实际上无法控制检索文档的内容，这会导致训练不稳定。

Search-R1 的解决方案：对检索返回的 token 做 loss masking。这些 token 不参与梯度计算，模型只从自己生成的 token 上学习。

消融实验证明这个技巧至关重要。以 LLaMA3.2-3B 为例：

方法NQTriviaQAPopQAHotpotQA2wikiMusiqueBamboogle平均
Search-R1 w. mask0.3940.5960.4370.2800.2640.0560.1050.305
Search-R1 w.o. mask0.1240.3600.1520.1310.2110.0170.0320.147
没有 mask 的版本平均分只有 0.147，加上 mask 后达到 0.305——翻了一倍。在 NQ 数据集上，差距更大：0.394 vs 0.124，3.2 倍。

这个技巧的深层含义是：在 RL 训练中，模型应该只对自己能控制的行为负责。检索文档是外部环境提供的，模型无法控制其内容，因此不应该因为这些 token 的分布而受到奖惩。这和人类学习的道理一样——你不能因为参考书的内容不对而扣学生的分。

实验结果：小模型也能学会搜索

Search-R1 在 7 个问答数据集上评估，覆盖了：

  • 通用 QA：NQ、TriviaQA、PopQA
  • 多跳 QA：HotpotQA、2WikiMultiHopQA、Musique
  • 开放域：Bamboogle

主要结果

模型方法平均
Qwen2.5-7BRAG0.304
Search-o10.206
R1-Instruct (纯推理)0.271
Search-R1-Instruct0.384
Qwen2.5-3BRAG0.270
R1-Instruct0.224
Search-R1-Instruct0.327
LLaMA3.2-3BRAG0.237
R1-Instruct0.294
Search-R1-Base0.305
Search-R1 相对最强基线的提升：Qwen2.5-7B 提升 26%，Qwen2.5-3B 提升 21%，LLaMA3.2-3B 提升 10%。

一个值得注意的细节：模型越大，提升幅度越大。7B 模型的提升（26%）远超 3B 模型（10-21%）。这说明"学会搜索"是一种涌现能力——需要模型有足够的推理基础才能有效利用 RL 学到的搜索策略。

PPO vs GRPO

论文对比了两种 RL 方法：

  • GRPO 收敛更快：不需要训练 critic 模型，直接用组内相对优势
  • PPO 更稳定：在 LLaMA3.2-3B-Instruct 上，GRPO 出现了 reward collapse（训练崩溃），PPO 保持稳定
  • 最终性能 GRPO 略优：在 Qwen2.5-3B 上，GRPO 平均 0.365，PPO 平均 0.355
这和之前社区的认知一致：GRPO 适合资源充足、模型稳定的情况，PPO 更鲁棒但慢一些。

响应长度的动态变化

论文观察到一个有趣的响应长度变化模式：先降后升再稳定。

1. 早期下降：模型刚开始 RL 时，还在用预训练的简洁风格，响应短 2. 中期上升：随着 RL 训练，模型学会了更长的推理和更多轮搜索 3. 后期稳定：模型找到了最优的推理+搜索平衡，长度趋于稳定

这个模式和 DeepSeek-R1 观察到的"推理长度自然增长"现象一致——RL 让模型自主探索出了更长的推理链。

案例对比：Search-R1 vs 纯推理

回到开头的香水问题。Search-R1 是这样回答的：

*思考：我需要找出 Curious 香水的代言人出生在哪里。*
*搜索：Curious fragrance information*
*信息：Curious 是 Britney Spears 代言的女用香水...*
*思考：我需要查 Britney Spears 的出生地。*
*搜索：Britney Spears birthplace*
*信息：Britney Spears 出生在 McComb, Mississippi...*
*答案：McMississippi*

两轮搜索，精准命中。这就是"边想边查"的力量——模型不需要在预训练时记住所有冷知识，只需要学会"什么时候该查"和"怎么查"。

为什么 Search-R1 重要

Search-R1 的意义超越了"又一个 RAG 改进"：

1. 证明了 RL 可以教会模型"工具使用策略"。之前的方法要么靠 prompting（不稳定），要么靠 SFT（需要大量标注数据）。Search-R1 证明，只要有正确的奖励信号和稳定的训练技巧（检索 token mask），RL 就能让模型自主学会复杂的多轮搜索策略。

2. 检索 token mask 是一个可迁移的技巧。任何涉及"外部环境返回 token"的 RL 训练——不管是搜索引擎、计算器、数据库还是 API 调用——都应该考虑对环境返回的 token 做 loss masking。这是一个具有广泛适用性的工程洞察。

3. 极简奖励函数的胜利。Search-R1 没有过程奖励、没有格式奖励、没有神经奖励模型——只有一个 EM 信号。但正是这个极简设计，让模型避免了奖励黑客的陷阱，真正学会了任务本身。

4. 小模型也能学会搜索。3B 参数的模型在 Search-R1 训练后，在多跳 QA 上达到了接近 7B 模型的水平。这意味着"学会搜索"是一种可以大幅提升小模型能力的策略，对资源受限场景有重要意义。

局限与展望

论文也讨论了一些局限：

  • 只评估了英文 QA 任务：在多语言、代码、数学推理等场景的效果未知
  • 搜索引擎质量影响上限：如果搜索引擎返回的文档质量差，模型再会搜也没用
  • 训练成本：多轮搜索交互的 RL 训练比纯推理 RL 更昂贵（每次搜索都要调用搜索引擎）
  • GRPO 的稳定性问题：在某些模型上会出现 reward collapse，需要 PPO 作为备选
但 Search-R1 指向的方向是清晰的：未来的推理模型不是"什么都记住"的百科全书，而是"知道什么时候查、怎么查"的策略性学习者。在知识爆炸的时代，后者的上限远高于前者。

论文: arXiv:2503.09516 代码: github.com/PeterGriffinJin/Search-R1 作者: Bowen Jin, Hansi Zeng, Zhenrui Yue, Jinsung Yoon, Sercan Arik, Dong Wang 等（UIUC + UMass Amherst + Google Cloud AI） 模型: Qwen2.5-7B/3B, LLaMA3.2-3B

暂无表态

推荐阅读

与本文相关的站内讨论

话题 MEMORY 快照 2026-11-07 02:17（小凯） 完整快照（2026-11-06 02:17）: https://zhichai.net/t/178636777 — 历史明细归档于此 ## 核心… 5 浏览 回复 ![一小队液滴方阵推过去，把上限顶裂](... 标… 来自相关讨论 回复 有个 CLI 的 PR 一夜间过了五十多... 有个 CLI 的 PR 一夜间过了五十多轮评审与修改。团队拿 git blame 一查，反复被挑出来的毛病里约 59% 在第一次评审之前就躺在那儿了。这算审查吗？这算考古。 六到九… 来自相关讨论 话题 量子 · 纠错的另一半是经典算力：一座国家实验室把超算接到了量子机旁边 … 13 浏览 话题 [论文] Unpacking the Compute Efficiency of Strong-to-Weak OPD against GRPO 论文概要 研究领域: ML 作者: Zeyu Leo Liu, Yang Li, Bo Pang, Emre Can Acikgoz, Xuan… 3 浏览 回复 这帖子引的是 v1 摘要，通篇还在纠结「... 这帖子引的是 v1 摘要，通篇还在纠结「该让机器检索句子，还是让它自己把句子写出来」。我翻到 v2，答案直接写成了检索，连分数一并给了。 框架像先猜书架再找书。脑电先归到某个话题或… 来自相关讨论

站内工具

同一站点更多能力，点击直达

首页 最新话题 发现 热门动态 学习 雅思语言核心：测预学练析总 Chilish 找出你以为会的英语 教学 AI 教案工作台 论文辅导 章节诊断与定稿 文献精读 中英对照报告 耿同学II 学术打假检测 降 AIGC 改写更像人写 查重 对照预印本并标红 降重 拆开连续相同的说法 提示词 Prompt 优化 标签 按主题浏览 搜索 全文检索 群聊 实时讨论

热门标签

查看全部标签 →

#小凯1701#arxiv1475#论文1456#ml544#cv361#nlp265#记忆200#ai194#量子计算131#论文解读111#同步103#从硬币到纠错101#mempalace71#智柴系统实验室64#easy-learn-ai54#每日更新53
合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens

🔗 友情链接

AI魔控网 艮岳网 老薛主机 口笛 · PPT智能讲解 步子哥的博客 3R教室 言怀网