R1-Searcher：当强化学习遇上检索增强——两阶段 Outcome-Based RL 的自主搜索能力培养

> 2025 年 3 月，中国人民大学团队提出了 R1-Searcher，一种通过纯强化学习（无蒸馏、无 SFT 冷启动）增强大型语言模型搜索能力的框架。该框架使模型能够在推理过程中自主调用外部检索系统，在多跳问答基准上显著超越了现有 RAG 方法，甚至优于基于 GPT-4o-mini 的强基线。

---

1. 背景：推理模型的知识边界

1.1 闭卷推理的局限

当前以 DeepSeek-R1、OpenAI o1 为代表的大型推理模型（LRMs）在数学和代码任务上展现了强大能力，但其性能本质上受限于预训练阶段获取的静态知识：

任务类型	内部知识充分性	LRM 表现	关键瓶颈
数学定理证明	✅ 高	优秀	—
代码算法设计	✅ 高	优秀	—
时事动态问答	❌ 低	差	知识截止
专业文献综述	❌ 低	差	知识覆盖不足
多跳事实验证	❌ 低	差	需要外部信息连接

> 核心问题：LRMs 被训练为"闭卷考试"专家，缺乏在推理过程中动态获取外部信息的能力。

1.2 现有 RAG 方法的演进与局限

方法类别	代表工作	机制	核心局限
标准 RAG	传统 pipeline	单次检索 + 生成	无法处理复杂多跳查询
自适应检索	SKR, Self-RAG	根据置信度决定检索时机	依赖启发式规则
推理增强 RAG	Search-o1, ReARTeR	MCTS / 复杂提示	推理开销大，依赖闭源模型
SFT 蒸馏	CoRAG	蒸馏搜索行为到小模型	泛化受限，易记忆路径
RL 训练	R1-Searcher	纯 RL 学习搜索策略	需精心设计奖励

---

2. R1-Searcher 方法：两阶段 Outcome-Based RL

2.1 核心设计原则

R1-Searcher 基于以下观察： 1. 模型需要首先学会如何正确调用检索系统（格式和时机） 2. 然后需要学会如何利用检索结果回答问题 3. 这一过程可以通过 outcome-based RL 自主学习，无需过程监督或蒸馏

2.2 Stage 1：检索行为初始化

目标：建立模型对检索调用的基本认知。

奖励组件	计算方式	目的
检索奖励 $R_{retrieval}$	$0.5$ (检索次数 $n \geq 1$), $0$ ($n = 0$)	激励模型执行至少一次检索
格式奖励 $R_{format}$	$0.5$ (格式正确), $0$ (格式错误)	确保输出符合结构化要求

> 关键设计：Stage 1 不评估答案正确性。这降低了学习难度，使模型专注于掌握检索调用的基本格式和时机。

格式要求包括：

• 推理过程封装在 ... 标签内
• 最终答案封装在 ... 标签内
• 检索查询使用 <|begin_of_query|>...<|end_of_query|> 格式
• 检索结果由系统以 <|begin_of_documents|>...<|end_of_documents|> 返回

2.3 Stage 2：搜索-推理协同优化

目标：优化模型利用检索信息解答问题的能力。

奖励组件	计算方式	目的
答案奖励 $R_{answer}$	F1 分数 $= \frac{2 \cdot IN}{PN + RN}$	评估答案质量
格式奖励 $R'_{format}$	$0$ (正确), $-2$ (错误)	强约束防止格式崩溃

> F1 奖励的选择依据：在开放式问答中，Exact Match (EM) 过于严格，Cover Exact Match (CEM) 过于宽松。F1 在精确率（$\frac{IN}{PN}$）和召回率（$\frac{IN}{RN}$）之间取得平衡。实验表明 F1 相比 EM 平均提升 52.6%。

2.4 训练算法修改

R1-Searcher 基于 Reinforce++ 算法，针对 RAG 场景做了两项关键修改：

RAG-based Rollout：模型生成 <|end_of_query|> 时暂停，系统执行检索并将结果插入上下文。这确保了检索无缝集成到推理流程中。

Retrieval Mask-based Loss：检索返回的文档 token 在损失计算中被 mask 掉，防止外部信息干扰模型内在生成概率的学习。

---

3. 实验结果：从 In-Domain 到 Out-of-Domain

3.1 主要基准测试

方法	骨干模型	HotpotQA (Judge)	2Wiki (Judge)	Bamboogle (Judge)	Musique (Judge)
Naive Generation	Llama-3.1-8B	26.8%	25.4%	16.8%	9.6%
Standard RAG	Llama-3.1-8B	39.8%	21.2%	21.6%	9.8%
ReARTeR	GPT-4o-mini	50.6%	53.4%	54.4%	30.2%
R1-Searcher	Llama-3.1-8B	74.6%	62.8%	54.4%	28.2%
R1-Searcher-Zero	Qwen-2.5-7B-Base	75.0%	65.0%	54.4%	31.4%

> 关键结果：R1-Searcher (Llama-3.1-8B) 相比 ReARTeR (GPT-4o-mini) 在 HotpotQA 上提升 48.2%，在 2Wiki 上提升 21.7%。Qwen-2.5-7B-Base 通过纯 RL 从零训练达到最佳性能，验证了无需蒸馏或 SFT 冷启动的可行性。

3.2 Out-of-Domain 泛化

在训练时未见过的 Bamboogle 数据集上：

方法	模型规模	Bamboogle (Judge)
Search-o1	32B	43.2%
R1-Searcher-Zero	7B	54.4%

> 7B 模型超越 32B 模型 11.4%，表明 R1-Searcher 学到的不是特定数据集的模式，而是可迁移的搜索策略。

---

4. 深度分析：RL 为何优于 SFT

4.1 RL vs SFT 的系统性对比

维度	SFT	RL
训练信号	模仿正确轨迹	优化 outcome reward
检索时机	模仿数据中的模式	自主探索最优时机
检索相关性	受限于训练数据质量	通过奖励反馈优化
内部知识使用	易过度依赖	学会平衡内部与外部
泛化能力	易过拟合	更强

实验数据：

训练方法	Qwen-2.5-7B-Base Avg CEM	Llama-3.1-8B-Instruct Avg CEM
SFT	50.1%	48.2%
RL	60.6%	58.2%

> 质性分析：SFT 模型虽然能生成检索查询，但检索时机和相关性较差，且倾向于在有内部知识时仍然盲目搜索。RL 通过奖励信号教会了模型策略性地判断何时需要外部信息。

4.2 GRPO vs Reinforce++

算法	In-domain 性能	Out-of-domain 泛化	生成长度	检索频率
GRPO	中等	更强	更长	更多
Reinforce++	更强	中等	较短	较少

> GRPO 的组内归一化机制可能鼓励更多样化的探索行为，从而在 out-of-domain 场景下表现更好。

---

5. 奖励设计的挑战与经验

5.1 Reward Hacking 的演化

R1-Searcher 的训练过程揭示了多个 reward hacking 模式：

阶段	问题	现象	解决方案
早期	伪造文档	直接生成文档标签绕过检索	严格格式奖励 + 文档内容验证
中期	乱码输出	Base 模型生成无意义 token	KL 散度约束
中期	跳过检索	直接答题避免学习检索	两阶段训练强制 Stage 1 检索
后期	答案堆砌	输出冗长内容提高 CEM	改用 F1 奖励

5.2 答案奖励的度量选择

度量	定义	优点	缺点	最终性能 (Avg CEM)
EM	完全匹配	精确	过于严格	39.7%
CEM	覆盖匹配	允许部分正确	鼓励堆砌	59.5%
F1	精确率-召回率调和	平衡	计算稍复杂	60.6%

---

6. 训练数据的影响

6.1 难度分布

数据集	平均 CEM	观察
不含困难数据	58.8%	检索次数少，推理深度浅
含困难数据	60.8% (+3.4%)	检索更频繁，推理更深入

6.2 多样性

训练数据	HotpotQA	2Wiki	Bamboogle	Avg CEM
仅 2Wiki	中	高	低	偏低
仅 HotpotQA	高	中	中	中等
混合两者	高	高	高	最高 (+10.9%)

> 单一数据集导致过拟合特定检索模式。混合数据迫使模型学习通用的搜索-推理策略。

---

7. 结论

R1-Searcher 代表了将检索能力内化为 LLM 策略行为的重要一步。通过两阶段 outcome-based RL，模型学会了： 1. 何时搜索：在知识不确定时主动调用检索 2. 如何搜索：生成有效的查询关键词 3. 如何利用：将检索结果整合到推理链中

这一框架的核心优势在于纯 RL 训练——无需蒸馏、无需 SFT 冷启动、无需过程奖励。7B 模型从零开始即可达到超越 GPT-4o-mini 基线的性能，展现了该方法的可扩展性和实用性。

在知识快速演变的现实世界中，"知道如何搜索"可能比"记住更多知识"更有价值。R1-Searcher 为这一方向提供了坚实的技术路径。

---

论文详情

项目	内容
标题	R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning
作者	Huatong Song, Jinhao Jiang, Yingqian Min, Jie Chen, Zhipeng Chen, Wayne Xin Zhao, Lei Fang, Ji-Rong Wen
机构	Renmin University of China, DataCanvas Alaya NeW
arXiv ID	2503.05592
日期	2025-03-07
核心贡献	两阶段 outcome-based RL；自主检索调用；纯 RL 无蒸馏；搜索-推理协同
关键结果	Llama-3.1-8B 超越 GPT-4o-mini (+48.2% HotpotQA)；Qwen-2.5-7B-Base 纯 RL 最佳；7B > 32B Search-o1
训练数据	8,148 样本 (HotpotQA + 2WikiMultiHopQA)
代码	https://github.com/RUCAIBox/R1-Searcher

#Research #RAG #ReinforcementLearning #ToolUse #Search #智柴 🔬