不用蒸馏、不用冷启动，纯 RL 教会 LLM"搜索"：R1-Searcher 让 7B 模型打败 GPT-4o-mini 🔍

核心判断：当前所有"推理模型"都在犯一个致命错误——它们被训练成"闭卷考试"的专家，遇到不懂的问题就瞎编。人民大学的 R1-Searcher 团队用纯 RL（不需要蒸馏、不需要 SFT 冷启动）教会了 7B 模型一个简单却强大的技能：不懂就搜。结果？这个 7B 模型在多跳问答上打败了基于 GPT-4o-mini 的强基线，甚至在 out-of-domain 数据上比 32B 参数的 Search-o1 还强 11.4%。如果这是对的，"推理能力"和"搜索能力"的边界需要被重新定义。

1. 推理模型的阿喀琉斯之踵：闭卷考试的幻觉 🦶

DeepSeek-R1、OpenAI o1、Kimi-1.5——这些模型在数学和代码上展现了惊人的推理能力。但它们有一个共同的盲区：

它们只能依赖训练时记住的知识。遇到时效性问题（"2025 年 NBA 冠军是谁？"）或知识密集型问题（"某篇特定论文的方法细节"），它们要么瞎编，要么沉默。

核心矛盾：我们在训练"推理能力"时，把模型关在一个没有窗户的房间里，然后期待它能回答关于窗外世界的问题。

2. R1-Searcher 的答案：用 RL 教会模型"不懂就搜" 🔍

Song 等人（2025）的核心 insight 简单到让人想拍大腿：

与其让模型背诵维基百科，不如教会它在需要时调用搜索工具。

但这不是一个简单的提示工程问题。之前的尝试有什么问题？

2.1 两阶段 RL 训练

R1-Searcher 的设计精妙之处在于分阶段解锁能力：

Stage 1：学会"怎么搜"

目标：让模型学会正确调用检索系统的格式和时机。

关键设计：Stage 1 不考虑答案是否正确。模型只需要学会："当我不确定时，我应该生成 <|begin_of_query|>...<|end_of_query|> 来调用搜索。"

Stage 2：学会"搜了怎么用"

目标：让模型利用检索结果正确回答问题。

F1 奖励的精妙：对于开放式问答，Exact Match 太严格（导致模型保守），Cover Exact Match 太宽松（导致模型堆砌信息）。F1 在精确率和召回率之间取得平衡。实验表明 F1 比 EM 平均提升 52.6%。

3. 数据说话：7B 模型如何打败 GPT-4o-mini 📊

HotpotQA 和 2WikiMultiHopQA（In-Domain）

R1-Searcher 用 Llama-3.1-8B 打败了基于 GPT-4o-mini 的 ReARTeR：HotpotQA +48.2%，2Wiki +21.7%。 而且 Qwen-2.5-7B-Base 版本更强——这是纯 RL 从零训练，没有 SFT 冷启动，没有蒸馏。

Bamboogle（Out-of-Domain + 在线搜索）

7B 模型比 32B 模型高 11.4%。这不是参数量的胜利，这是策略的胜利——R1-Searcher 学会了更有效地使用搜索工具。

RL vs SFT：为什么 RL 更优？

RL 比 SFT 提升 10+ 个百分点。 原因在于：SFT 模型学会了"生成检索查询"的形式，但没学会"何时检索"的判断。它倾向于过早检索或检索不相关内容，甚至在有内部知识时仍然盲目搜索。RL 通过奖励信号教会了模型策略性地使用搜索。

4. 关键发现：RL 训练的"顿悟时刻" 💡

4.1 格式奖励的进化论

R1-Searcher 的训练过程充满了与"奖励黑客"（reward hacking）的斗争：

这些 battle 揭示了 RL 训练的残酷现实：模型会找到任何捷径来获取奖励。好的奖励设计不是锦上添花，是生死存亡。

4.2 数据难度决定模型深度

困难数据迫使模型进行更多检索和更深推理。没有挑战，就没有成长。

4.3 数据多样性决定泛化

单一数据集导致过拟合。混合数据让模型学会"搜索策略"本身，而非特定数据集的模式。

5. 我的押注 💰

我赌 1000 美元：到 2026 年，"搜索能力"将成为推理模型的标准配置——不是作为外部 RAG 管道，而是作为模型内化的策略行为。R1-Searcher 的两阶段 RL 框架将成为训练工具使用能力的默认范式。

为什么？

1. 解决了推理模型的真实痛点：知识截止和幻觉。没有搜索能力的推理模型，就像一个不联网的教授——聪明但过时。

2. 纯 RL 路线的可行性：不需要蒸馏、不需要 SFT 冷启动、不需要过程奖励。7B Base 模型从零开始，纯 RL，就能打败 GPT-4o-mini。这大大降低了门槛。

3. 与现有基础设施兼容：R1-Searcher 基于 GRPO/Reinforce++，任何已有 RL 训练管道的团队都能复现。

4. 泛化能力经过验证：从 in-domain（HotpotQA）到 out-of-domain（Musique, Bamboogle），从本地检索到在线搜索。模型学会了策略，而非记忆。

敌人是谁？

• "模型必须自己知道一切"的原教旨主义者——人类的智慧很大程度上来自于知道"去哪里找信息"。
• 依赖复杂提示工程的 RAG 方案——提示工程是脆弱的，RL 训练的策略是鲁棒的。
• 认为"工具使用需要 SFT 冷启动"的偏见——R1-Searcher 证明了 Base 模型通过纯 RL 就能学会。

6. 局限与未来 🔮

R1-Searcher 不是银弹：

1. 检索系统的质量瓶颈：模型学会了搜索，但如果检索系统返回垃圾，模型也无能为力。R1-Searcher 的上限受限于检索器的质量。

2. 多轮检索的协调：当前最大检索次数为 8。更复杂的问题可能需要更多轮次的检索-推理-再检索循环。

3. 检索时机的精细化：模型学会了"不确定时搜索"，但"不确定"的阈值是否最优？能否通过更细粒度的置信度估计来优化检索决策？

4. 从搜索到工具使用：搜索只是工具使用的一种。R1-Searcher 的框架能否扩展到代码执行、计算器、数据库查询等更广泛的工具生态？

但无论如何，R1-Searcher 证明了一个简单却深刻的观点：最聪明的模型不是知道最多的模型，而是最知道"自己不知道什么"的模型。

论文详情

#CrushAI #BetWriting #智柴系统实验室 🎙️