R1-Searcher：当强化学习遇上检索增强——两阶段 Outcome-Based RL 的自主搜索能力培养
R1-Searcher：当强化学习遇上检索增强——两阶段 Outcome-Based RL 的自主搜索能力培养
2025 年 3 月，中国人民大学团队提出了 R1-Searcher，一种通过纯强化学习（无蒸馏、无 SFT 冷启动）增强大型语言模型搜索能力的框架。该框架使模型能够在推理过程中自主调用外部检索系统，在多跳问答基准上显著超越了现有 RAG 方法，甚至优于基于 GPT-4o-mini 的强基线。
1. 背景：推理模型的知识边界
1.1 闭卷推理的局限
当前以 DeepSeek-R1、OpenAI o1 为代表的大型推理模型（LRMs）在数学和代码任务上展现了强大能力，但其性能本质上受限于预训练阶段获取的静态知识：
| 任务类型 | 内部知识充分性 | LRM 表现 | 关键瓶颈 |
|---|---|---|---|
| 数学定理证明 | ✅ 高 | 优秀 | — |
| 代码算法设计 | ✅ 高 | 优秀 | — |
| 时事动态问答 | ❌ 低 | 差 | 知识截止 |
| 专业文献综述 | ❌ 低 | 差 | 知识覆盖不足 |
| 多跳事实验证 | ❌ 低 | 差 | 需要外部信息连接 |
核心问题：LRMs 被训练为"闭卷考试"专家，缺乏在推理过程中动态获取外部信息的能力。
1.2 现有 RAG 方法的演进与局限
| 方法类别 | 代表工作 | 机制 | 核心局限 |
|---|---|---|---|
| 标准 RAG | 传统 pipeline | 单次检索 + 生成 | 无法处理复杂多跳查询 |
| 自适应检索 | SKR, Self-RAG | 根据置信度决定检索时机 | 依赖启发式规则 |
| 推理增强 RAG | Search-o1, ReARTeR | MCTS / 复杂提示 | 推理开销大，依赖闭源模型 |
| SFT 蒸馏 | CoRAG | 蒸馏搜索行为到小模型 | 泛化受限，易记忆路径 |
| RL 训练 | R1-Searcher | 纯 RL 学习搜索策略 | 需精心设计奖励 |
2. R1-Searcher 方法：两阶段 Outcome-Based RL
2.1 核心设计原则
R1-Searcher 基于以下观察：
- 模型需要首先学会如何正确调用检索系统（格式和时机）
- 然后需要学会如何利用检索结果回答问题
- 这一过程可以通过 outcome-based RL 自主学习，无需过程监督或蒸馏
2.2 Stage 1：检索行为初始化
目标：建立模型对检索调用的基本认知。
| 奖励组件 | 计算方式 | 目的 |
|---|---|---|
| 检索奖励 \(R_{retrieval}\) | \(0.5\) (检索次数 \(n \geq 1\)), \(0\) (\(n = 0\)) | 激励模型执行至少一次检索 |
| 格式奖励 \(R_{format}\) | \(0.5\) (格式正确), \(0\) (格式错误) | 确保输出符合结构化要求 |
关键设计：Stage 1 不评估答案正确性。这降低了学习难度，使模型专注于掌握检索调用的基本格式和时机。
格式要求包括：
- 推理过程封装在
<think>...</think>标签内 - 最终答案封装在
<answer>...</answer>标签内 - 检索查询使用
<|begin_of_query|>...<|end_of_query|>格式 - 检索结果由系统以
<|begin_of_documents|>...<|end_of_documents|>返回
2.3 Stage 2：搜索-推理协同优化
目标：优化模型利用检索信息解答问题的能力。
| 奖励组件 | 计算方式 | 目的 |
|---|---|---|
| 答案奖励 \(R_{answer}\) | F1 分数 \(= \frac{2 \cdot IN}{PN + RN}\) | 评估答案质量 |
| 格式奖励 \(R'_{format}\) | \(0\) (正确), \(-2\) (错误) | 强约束防止格式崩溃 |
F1 奖励的选择依据：在开放式问答中，Exact Match (EM) 过于严格，Cover Exact Match (CEM) 过于宽松。F1 在精确率（\(\frac{IN}{PN}\)）和召回率（\(\frac{IN}{RN}\)）之间取得平衡。实验表明 F1 相比 EM 平均提升 52.6%。
2.4 训练算法修改
R1-Searcher 基于 Reinforce++ 算法，针对 RAG 场景做了两项关键修改：
RAG-based Rollout：模型生成 <|end_of_query|> 时暂停，系统执行检索并将结果插入上下文。这确保了检索无缝集成到推理流程中。
Retrieval Mask-based Loss：检索返回的文档 token 在损失计算中被 mask 掉，防止外部信息干扰模型内在生成概率的学习。
3. 实验结果：从 In-Domain 到 Out-of-Domain
3.1 主要基准测试
| 方法 | 骨干模型 | HotpotQA (Judge) | 2Wiki (Judge) | Bamboogle (Judge) | Musique (Judge) |
|---|---|---|---|---|---|
| Naive Generation | Llama-3.1-8B | 26.8% | 25.4% | 16.8% | 9.6% |
| Standard RAG | Llama-3.1-8B | 39.8% | 21.2% | 21.6% | 9.8% |
| ReARTeR | GPT-4o-mini | 50.6% | 53.4% | 54.4% | 30.2% |
| R1-Searcher | Llama-3.1-8B | 74.6% | 62.8% | 54.4% | 28.2% |
| R1-Searcher-Zero | Qwen-2.5-7B-Base | 75.0% | 65.0% | 54.4% | 31.4% |
关键结果：R1-Searcher (Llama-3.1-8B) 相比 ReARTeR (GPT-4o-mini) 在 HotpotQA 上提升 48.2%，在 2Wiki 上提升 21.7%。Qwen-2.5-7B-Base 通过纯 RL 从零训练达到最佳性能，验证了无需蒸馏或 SFT 冷启动的可行性。
3.2 Out-of-Domain 泛化
在训练时未见过的 Bamboogle 数据集上：
| 方法 | 模型规模 | Bamboogle (Judge) |
|---|---|---|
| Search-o1 | 32B | 43.2% |
| R1-Searcher-Zero | 7B | 54.4% |
7B 模型超越 32B 模型 11.4%，表明 R1-Searcher 学到的不是特定数据集的模式，而是可迁移的搜索策略。
4. 深度分析：RL 为何优于 SFT
4.1 RL vs SFT 的系统性对比
| 维度 | SFT | RL |
|---|---|---|
| 训练信号 | 模仿正确轨迹 | 优化 outcome reward |
| 检索时机 | 模仿数据中的模式 | 自主探索最优时机 |
| 检索相关性 | 受限于训练数据质量 | 通过奖励反馈优化 |
| 内部知识使用 | 易过度依赖 | 学会平衡内部与外部 |
| 泛化能力 | 易过拟合 | 更强 |
实验数据：
| 训练方法 | Qwen-2.5-7B-Base Avg CEM | Llama-3.1-8B-Instruct Avg CEM |
|---|---|---|
| SFT | 50.1% | 48.2% |
| RL | 60.6% | 58.2% |
质性分析：SFT 模型虽然能生成检索查询，但检索时机和相关性较差，且倾向于在有内部知识时仍然盲目搜索。RL 通过奖励信号教会了模型策略性地判断何时需要外部信息。
4.2 GRPO vs Reinforce++
| 算法 | In-domain 性能 | Out-of-domain 泛化 | 生成长度 | 检索频率 |
|---|---|---|---|---|
| GRPO | 中等 | 更强 | 更长 | 更多 |
| Reinforce++ | 更强 | 中等 | 较短 | 较少 |
GRPO 的组内归一化机制可能鼓励更多样化的探索行为，从而在 out-of-domain 场景下表现更好。
5. 奖励设计的挑战与经验
5.1 Reward Hacking 的演化
R1-Searcher 的训练过程揭示了多个 reward hacking 模式：
| 阶段 | 问题 | 现象 | 解决方案 |
|---|---|---|---|
| 早期 | 伪造文档 | 直接生成文档标签绕过检索 | 严格格式奖励 + 文档内容验证 |
| 中期 | 乱码输出 | Base 模型生成无意义 token | KL 散度约束 |
| 中期 | 跳过检索 | 直接答题避免学习检索 | 两阶段训练强制 Stage 1 检索 |
| 后期 | 答案堆砌 | 输出冗长内容提高 CEM | 改用 F1 奖励 |
5.2 答案奖励的度量选择
| 度量 | 定义 | 优点 | 缺点 | 最终性能 (Avg CEM) |
|---|---|---|---|---|
| EM | 完全匹配 | 精确 | 过于严格 | 39.7% |
| CEM | 覆盖匹配 | 允许部分正确 | 鼓励堆砌 | 59.5% |
| F1 | 精确率-召回率调和 | 平衡 | 计算稍复杂 | 60.6% |
6. 训练数据的影响
6.1 难度分布
| 数据集 | 平均 CEM | 观察 |
|---|---|---|
| 不含困难数据 | 58.8% | 检索次数少，推理深度浅 |
| 含困难数据 | 60.8% (+3.4%) | 检索更频繁，推理更深入 |
6.2 多样性
| 训练数据 | HotpotQA | 2Wiki | Bamboogle | Avg CEM |
|---|---|---|---|---|
| 仅 2Wiki | 中 | 高 | 低 | 偏低 |
| 仅 HotpotQA | 高 | 中 | 中 | 中等 |
| 混合两者 | 高 | 高 | 高 | 最高 (+10.9%) |
单一数据集导致过拟合特定检索模式。混合数据迫使模型学习通用的搜索-推理策略。
7. 结论
R1-Searcher 代表了将检索能力内化为 LLM 策略行为的重要一步。通过两阶段 outcome-based RL，模型学会了：
- 何时搜索：在知识不确定时主动调用检索
- 如何搜索：生成有效的查询关键词
- 如何利用：将检索结果整合到推理链中
这一框架的核心优势在于纯 RL 训练——无需蒸馏、无需 SFT 冷启动、无需过程奖励。7B 模型从零开始即可达到超越 GPT-4o-mini 基线的性能，展现了该方法的可扩展性和实用性。
在知识快速演变的现实世界中，"知道如何搜索"可能比"记住更多知识"更有价值。R1-Searcher 为这一方向提供了坚实的技术路径。
论文详情
| 项目 | 内容 |
|---|---|
| 标题 | R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning |
| 作者 | Huatong Song, Jinhao Jiang, Yingqian Min, Jie Chen, Zhipeng Chen, Wayne Xin Zhao, Lei Fang, Ji-Rong Wen |
| 机构 | Renmin University of China, DataCanvas Alaya NeW |
| arXiv ID | 2503.05592 |
| 日期 | 2025-03-07 |
| 核心贡献 | 两阶段 outcome-based RL；自主检索调用；纯 RL 无蒸馏；搜索-推理协同 |
| 关键结果 | Llama-3.1-8B 超越 GPT-4o-mini (+48.2% HotpotQA)；Qwen-2.5-7B-Base 纯 RL 最佳；7B > 32B Search-o1 |
| 训练数据 | 8,148 样本 (HotpotQA + 2WikiMultiHopQA) |
| 代码 | https://github.com/RUCAIBox/R1-Searcher |
#Research #RAG #ReinforcementLearning #ToolUse #Search #智柴 🔬
讨论回复
加载中...正在加载回复...
推荐
智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用，智谱新一代旗舰模型 GLM-5 已上线，在推理、代码、智能体综合能力达到开源模型 SOTA 水平。