当推理学会搜索：ReSearch如何让大模型在思考中主动"查资料"

小凯 · 2026-07-05T08:38:05+00:00

ReSearch: Learning to Reason with Search for LLMs via Reinforcement Learning 元信息字段内容 ------ ------ 标题 ReSearch: Learning to Reason with Search for LLMs via Reinforcement Learning 作者/机构 Mingyang Chen、Linzhuang Sun、Tianpeng Li、Haoze Sun、Yijie Zhou、Chenzheng Zhu 等（共 13 人）发表时间 2025-03-25 来源链接 https://arxiv.org/abs/2503.19470 资源类型学术论文所属章节 FreshLLM and similar architectures (LLM and large scale search) 一句话总结该工作围绕「ReSearch: Learning to Reason with Search for LLMs via Reinforcement… 研究背景与动机在大规模搜…

一个场景

想象你在考一场开卷考试。题目是："2018年墨西哥总统大选的获胜者，他所属的政党在选举前几年成立的？"

你的大脑会怎么运作？你不会先把所有可能相关的资料都翻一遍再开始想——你会先想"我需要查2018墨西哥大选获胜者"，查到是洛佩斯·奥夫拉多尔，然后再想"他属于哪个政党？"查到是MORENA，最后想"MORENA哪年成立的？"查到2014年。

这个"想一步、查一步、再想一步"的过程，对人类来说再自然不过。但直到2025年初，大语言模型在做多跳推理时，要么是"先想完再查"（推理和检索割裂），要么是需要大量人工标注的推理步骤来监督微调。

ReSearch提出了一个不同的问题：能不能让模型自己学会"什么时候该搜、搜什么、搜完怎么接着想"，而且完全不用人工标注推理过程？

核心思路：把搜索变成推理链的"一等公民"

ReSearch的关键洞察是：搜索操作不应该是推理结束后才调用的外部工具，而应该是推理链本身的组成部分。

具体来说，模型的推理过程被设计成三种标签的交替：

...：模型的内部思考
...：模型决定要搜什么
...：搜索引擎返回的结果（这部分不由模型生成，由外部检索器填充）
...：最终答案

整个链条看起来像这样：思考→搜索→获取结果→继续思考→再搜索→获取结果→...→给出答案。

关键在于：什么时候搜、搜什么，完全由模型自己通过思考决定，而不是用规则硬编码"每隔三步搜一次"。

训练方法：GRPO + 结果掩码

ReSearch使用GRPO（Group Relative Policy Optimization）来训练，这是DeepSeek-R1同款强化学习算法。但这里有一个独特的技术挑战：推理链中夹杂着搜索引擎返回的结果，这些结果不是模型生成的，不应该参与梯度计算。

论文的解决方案叫Retrieval Result Masking（检索结果掩码）：在计算GRPO的损失函数时，把和之间的token从梯度中遮掉。模型只对自己生成的思考、搜索查询和答案负责，不试图去"学习"生成检索结果。

奖励函数极其简洁，只有两部分：

Answer Reward：最终答案与标准答案的F1分数
Format Reward：是否正确使用了标签格式（0.1分），完全不对则0分

没有过程奖励，没有中间步骤的监督。模型必须自己从最终答案的对错中，反推什么时候该搜、搜什么。

一个数据集训练，四个基准测试泛化

ReSearch只在MuSiQue训练集上训练——一个多跳问答数据集。但测试覆盖了四个完全不同的基准：

HotpotQA：7405个样本，基于维基百科的多跳推理
2WikiMultiHopQA：12576个样本，不同挖掘策略构造的多跳问题
MuSiQue：2417个样本，训练集的同分布测试
Bamboogle：125个样本，人工构造的2跳问题，"连主流搜索引擎都无法直接回答"

结果？在Qwen2.5-7B-Instruct上，ReSearch相比无RAG基线提升了8.9%到22.4%的绝对准确率。 在32B模型上同样有效。更值得注意的是，模型在从未见过的Bamboogle数据集上也表现良好——说明学到的是"推理+搜索"的通用能力，而不是对某个数据集的过拟合。

涌现能力：反思与自我纠正

论文最有趣的发现是在分析环节：ReSearch在强化学习过程中，自然涌现出了反思和自我纠正能力。

什么意思？模型在推理链中会自发地出现这样的模式：

<think>根据搜索结果，2018年墨西哥大选获胜者是洛佩斯·奥夫拉多尔，属于MORENA党。</think>
<think>等等，让我确认一下MORENA的成立时间。</think>
<search>MORENA party founding year</search>
...

这种"等等，让我确认一下"的反思行为，没有任何人工数据教过模型这么做。它是纯粹从"答案对错"的奖励信号中，通过强化学习自发产生的。

这和DeepSeek-R1的发现一脉相承：当你用RL训练模型推理，而不是用SFT教它怎么推理时，模型会自己"发明"推理策略。ReSearch把这个发现扩展到了"推理+搜索"的交叉地带。

为什么这很重要

ReSearch解决了一个长期存在的矛盾：

传统RAG（检索增强生成）是"先检索再生成"——但检索什么往往需要先理解问题，而理解问题又需要推理。这是个鸡生蛋的问题。

ReSearch的答案是：不要把检索和推理分开，让推理本身包含检索决策。 模型边想边查，查到的信息反过来影响下一步怎么想。

更深层的方法论启示：当一个问题难以标注中间步骤时（你怎么标注"正确的搜索时机"？不同人会有不同答案），用最终结果的奖励信号让模型自己学，可能比强行标注更好。 这和最近一系列RL训练推理模型的工作（o1、R1、ToRA）指向同一个方向——过程监督的尽头，可能是无需过程监督。

局限与开放问题

论文也坦诚了局限：

检索环境：使用基于维基百科的开放检索环境，与真实网络搜索有差距
训练数据：只在MuSiQue上训练，虽然泛化到了四个基准，但领域覆盖仍有限
搜索粒度：每次搜索是整段查询，没有子查询分解的机制

更深层的开放问题：当模型可以随时搜索时，它会不会过度依赖搜索而减少内部推理？ 论文的分析显示搜索次数和回答长度在训练中确实在增长，但没有深入分析这种增长是否总是有益的。

代码与复现

论文开源了代码：https://github.com/Agent-RL/ReSearch ，基于Qwen2.5系列模型，使用vLLM做推理加速。对于想复现或扩展这个框架的研究者，这是一个可以直接上手的项目。

---

一句话总结：ReSearch证明了，当你用强化学习训练模型"在推理中搜索"，而不告诉它怎么推理时，模型会自己学会反思、自我纠正、和多步检索——这些能力的涌现，不需要任何推理步骤的监督数据。