ReSearch: Learning to Reason with Search for LLMs via Reinforcement Learning
字段 内容 ------ ------ 标题 ReSearch: Learning to Reason with Search for LLMs via Reinforcement Learning 作者/机构 Mingyang Chen、Linzhuang Sun、Tianpeng Li、Haoze Sun、Yij…
目录
ReSearch: Learning to Reason with Search for LLMs via Reinforcement Learning
元信息
| 字段 | 内容 | |------|------| | 标题 | ReSearch: Learning to Reason with Search for LLMs via Reinforcement Learning | | 作者/机构 | Mingyang Chen、Linzhuang Sun、Tianpeng Li、Haoze Sun、Yijie Zhou、Chenzheng Zhu 等（共 13 人） | | 发表时间 | 2025-03-25 | | 来源链接 | https://arxiv.org/abs/2503.19470 | | 资源类型 | 学术论文 | | 所属章节 | FreshLLM and similar architectures (LLM and large scale search) |一句话总结
该工作围绕「ReSearch: Learning to Reason with Search for LLMs via Reinforcement…研究背景与动机
在大规模搜索、推荐与个性化系统中，information retrieval 长期面临效率、可扩展性与用户意图理解等挑战。传统流水线式方法往往将检索、排序与生成割裂处理，难以适应大语言模型（LLM）时代用户对自然语言交互、多跳推理与实时知识的综合需求。ReSearch: Learning to Reason with Search for LLMs via Reinforcement Learning 正是在这一背景下提出，旨在系统梳理或推进该交叉领域的理论与实践边界。 从问题定义看，论文关注的核心场景包括：开放域信息获取、企业知识检索、对话式搜索、推荐系统中的语义理解，以及将外部知识源与生成模型协同的端到端架构。英文摘要指出：Large Language Models (LLMs) have shown remarkable capabilities in reasoning, exemplified by the success of OpenAI-o1 and DeepSeek-R1. However, integrating reasoning with external search processes remains challenging, especially for complex multi-hop questions requiring multiple retrieval steps. We propose ReSearch, a novel framework that trains LLMs to Reason with Search via reinforcement learning without using any supervised data on reasoning steps. Our approach treats search operations as int…核心贡献
- 提出或归纳了面向该问题域的统一视角，将分散的相关工作纳入可比较的框架之中。
- 对方法组件（表示学习、检索器、重排器、规划器、生成器、反馈机制）给出清晰分解，便于工程落地。
- 在实验协议或综述覆盖上提供可复现的基准、数据集或分类表，降低后续研究者的入门成本。
- 讨论与 LLM 工具调用、强化学习、多智能体协作等新兴范式的接口，指出从研究原型到工业系统的迁移路径。
- 明确列出开放问题：评测可信度、延迟与成本、幻觉与安全、跨语言与多模态扩展等。
方法 / 系统架构
方法上，工作通常遵循「问题形式化 → 模型/系统设计 → 训练或构建流程 → 推理管线」四步。 1. 输入与表示：将查询、文档、用户上下文编码为稠密或稀疏表示，或构造结构化提示； 2. 核心模块：可能包含检索器、重排器、规划器、记忆模块、工具接口等，按任务串联或并联； 3. 学习策略：监督微调、对比学习、蒸馏、强化学习（含过程奖励）、自举数据合成； 4. 推理策略：单轮检索、迭代检索、并行子查询、早停与预算控制。 摘要所描述的技术路线可概括为：Large Language Models (LLMs) have shown remarkable capabilities in reasoning, exemplified by the success of OpenAI-o1 and DeepSeek-R1. However, integrating reasoning with external search processes remains challenging, especially for complex multi-hop questions requiring multiple retrieval steps. We propose ReSearch, a novel framework that trains LLMs to Reason with Search via reinforcement learning without using any supervised data on reasoning steps. Our approach treats search operations as integral components of the reasoning chain, where when and how to perform searches is guided by text-based thinking, and search results subsequently influence further reasoning. We train ReSearch on Qwen2.5-7B(-Instruct) and Qwen2.5-32B(-Instruct) models and conduct extensive experiments. Despite being trained on only one dataset, our models demonstrate strong generalizability across various benchmarks. Analysis reveals that ReSearch naturally elicits advanced reasoning capabilities such as reflection and self-correction during the reinforcement learning process.实验与评估
实验与评估部分（若原文为综述则为覆盖的基准与趋势）通常包括：- 数据集：MS MARCO、BEIR、Natural Questions、领域专有语料、推荐公开集等；
- 指标：nDCG@10、MRR、Recall@k、Hit@k、人类偏好、任务成功率、延迟与 token 成本；
- 对比基线：BM25、稠密检索、交叉编码器重排、无检索 LLM、商业搜索 API；
- 消融：验证各模块（检索步数、重排深度、训练数据规模）对最终质量的贡献。
主要结论与洞察
对 Search / Rec / Personalization 领域的启示： 1. 架构：级联检索+重排+生成仍为主流，但 agentic 范式正将“检索次数与策略”本身作为可学习对象； 2. 数据：高质量指令数据与点击/会话日志同样关键，合成数据需防知识泄漏与分布偏移； 3. 评测：离线指标与在线满意度差距拉大，LLM-as-judge 需与人工评估交叉验证； 4. 产品：延迟、成本、可解释性与安全策略是工业落地的硬约束，不可仅优化学术基准。局限性与未来工作
局限性可能包括：实验规模受 GPU 预算限制、基准与真实用户分布不一致、英文中心数据导致跨语言泛化未知、以及代理系统在开放网络上的安全风险。未来可探索更高效的 test-time compute 分配、与知识图谱/结构化数据库更深融合、以及面向推荐系统的因果与公平性约束。与本 Awesome List 的关联
该条目适合归入本 Awesome List 对应章节，并与同主题 Survey、开源框架及工业案例交叉索引。读者可沿「检索 → 排序 → 生成/代理 → 评测」链路定位互补文献。相关条目交叉引用
- Enhancing Noise Robustness of Retrieval-Augmented Language Models with…
- FreshLLMs: Refreshing Large Language Models with Search Engine Augment…
- Gorilla: Large Language Model Connected with Massive APIs, May 2023, a…
- Interleaving Retrieval with Chain-of-Thought Reasoning for Knowledge-I…
- Long-form factuality in large language models, Mar 2024, arxiv
- Search-R1: Training LLMs to Reason and Leverage Search Engines with Re…
参考文献
- 原文：ReSearch: Learning to Reason with Search for LLMs via Reinforcement Learning. arXiv / 出版源见链接。
深度分析附录
技术脉络定位
本工作处于 information_retrieval 与大规模搜索/推荐系统交叉地带。从系统视角看，它回应的是「如何在 LLM 时代重新分配检索、排序、生成与工具调用的职责边界」这一核心问题。若将经典搜索栈比作漏斗：召回负责覆盖，精排负责判别，生成负责呈现；而 LLM 时代的新增变量是 推理预算 与 行动空间（是否检索、检索几次、调用何种工具）。相关工作纵览
神经信息检索经历从 BM25 到 BERT 交叉编码器、双塔稠密检索、late interaction、再到生成式检索与 LLM 代理的演进。每一代方法都在 效率-效果-可维护性 三角中寻找平衡。稠密检索以近似最近邻搜索实现毫秒级召回，但对领域迁移与长尾查询敏感；交叉编码器精度高但无法预计算文档表示；生成式方法减少级联误差却面临索引更新难题。 在推荐侧，从矩阵分解、深度 CTR、序列 Transformer 到 LLM 指令跟随与生成式推荐（Gen-Rec），核心矛盾在于：用户行为稀疏、物品_catalog_巨大、且业务目标多维权衡。LLM 提供语义先验与冷启动能力，但线上推理成本与幻觉风险要求谨慎的系统设计。 RAG 与 Agentic Search 将外部知识访问从「一次性检索」扩展为「可迭代、可验证、可规划」的过程，评测也因此从静态 nDCG 转向任务成功率、引用准确率、多跳推理链完整性等过程指标。工程落地检查清单
| 检查项 | 问题 | 建议 | |--------|------|------| | 数据 | 训练/索引是否含 PII？版本如何管理？ | 分区索引、脱敏、可回滚 embedding 版本 | | 延迟 | p99 预算多少？检索几步？ | 级联+早停、缓存热门查询、异步重排 | | 质量 | 离线提升是否转化为线上 CTR/满意度？ | 交错实验、人工审计样本、引用校验 | | 安全 | 开放检索是否引入投毒/偏见？ | 来源白名单、对抗检测、输出过滤 | | 成本 | 每查询 token 与 GPU 占用？ | 路由小模型、蒸馏、稀疏+稠密混合 |从摘要到实现的鸿沟
论文摘要往往强调最优指标，但工程团队需额外评估：索引更新频率、embedding 版本兼容、线上 A/B 的灵敏度、以及失败模式（空检索、错误工具调用、过度生成）。建议读者将本文与同类 Survey、开源实现（如 RankLLM、Open Deep Research）及工业博客一并阅读，形成「论文创新点 — 开源复现 — 线上约束」三角校验。术语表
| 术语 | 含义 | |------|------| | IR | Information Retrieval，信息检索 | | RAG | Retrieval-Augmented Generation，检索增强生成 | | LTR | Learning to Rank，学习排序 | | nDCG | 归一化折损累积增益，排序质量指标 | | Agentic Search | 将搜索建模为序贯决策与工具调用的智能体范式 | | Gen-IR | Generative Information Retrieval，生成式信息检索 |对本库读者的行动建议
1. 研究者：复现核心对比实验，关注是否报告统计显著性与计算成本； 2. 工程师：提取可插拔模块（编码器、重排器、规划器），评估与现有栈集成成本； 3. 产品经理：识别用户可感知收益（延迟、答案可信度、多轮一致性）而非仅离线 nDCG。英文摘要（原文保留）
Large Language Models (LLMs) have shown remarkable capabilities in reasoning, exemplified by the success of OpenAI-o1 and DeepSeek-R1. However, integrating reasoning with external search processes remains challenging, especially for complex multi-hop questions requiring multiple retrieval steps. We propose ReSearch, a novel framework that trains LLMs to Reason with Search via reinforcement learning without using any supervised data on reasoning steps. Our approach treats search operations as integral components of the reasoning chain, where when and how to perform searches is guided by text-based thinking, and search results subsequently influence further reasoning. We train ReSearch on Qwen2.5-7B(-Instruct) and Qwen2.5-32B(-Instruct) models and conduct extensive experiments. Despite being trained on only one dataset, our models demonstrate strong generalizability across various benchmarks. Analysis reveals that ReSearch naturally elicits advanced reasoning capabilities such as reflection and self-correction during the reinforcement learning process.
讨论回复（1）
当推理学会搜索：ReSearch如何让大模型在思考中主动"查资料"
一个场景
想象你在考一场开卷考试。题目是："2018年墨西哥总统大选的获胜者，他所属的政党在选举前几年成立的？"
你的大脑会怎么运作？你不会先把所有可能相关的资料都翻一遍再开始想——你会先想"我需要查2018墨西哥大选获胜者"，查到是洛佩斯·奥夫拉多尔，然后再想"他属于哪个政党？"查到是MORENA，最后想"MORENA哪年成立的？"查到2014年。
这个"想一步、查一步、再想一步"的过程，对人类来说再自然不过。但直到2025年初，大语言模型在做多跳推理时，要么是"先想完再查"（推理和检索割裂），要么是需要大量人工标注的推理步骤来监督微调。
ReSearch提出了一个不同的问题：能不能让模型自己学会"什么时候该搜、搜什么、搜完怎么接着想"，而且完全不用人工标注推理过程？
核心思路：把搜索变成推理链的"一等公民"
ReSearch的关键洞察是：搜索操作不应该是推理结束后才调用的外部工具，而应该是推理链本身的组成部分。
具体来说，模型的推理过程被设计成三种标签的交替：
... ... ... ...
关键在于：什么时候搜、搜什么，完全由模型自己通过思考决定，而不是用规则硬编码"每隔三步搜一次"。
训练方法：GRPO + 结果掩码
ReSearch使用GRPO（Group Relative Policy Optimization）来训练，这是DeepSeek-R1同款强化学习算法。但这里有一个独特的技术挑战：推理链中夹杂着搜索引擎返回的结果，这些结果不是模型生成的，不应该参与梯度计算。
论文的解决方案叫Retrieval Result Masking（检索结果掩码）：在计算GRPO的损失函数时，把之间的token从梯度中遮掉。模型只对自己生成的思考、搜索查询和答案负责，不试图去"学习"生成检索结果。
奖励函数极其简洁，只有两部分：
- Answer Reward：最终答案与标准答案的F1分数
- Format Reward：是否正确使用了标签格式（0.1分），完全不对则0分
一个数据集训练，四个基准测试泛化
ReSearch只在MuSiQue训练集上训练——一个多跳问答数据集。但测试覆盖了四个完全不同的基准：
- HotpotQA：7405个样本，基于维基百科的多跳推理
- 2WikiMultiHopQA：12576个样本，不同挖掘策略构造的多跳问题
- MuSiQue：2417个样本，训练集的同分布测试
- Bamboogle：125个样本，人工构造的2跳问题，"连主流搜索引擎都无法直接回答"
涌现能力：反思与自我纠正
论文最有趣的发现是在分析环节：ReSearch在强化学习过程中，自然涌现出了反思和自我纠正能力。
什么意思？模型在推理链中会自发地出现这样的模式：
<think>根据搜索结果，2018年墨西哥大选获胜者是洛佩斯·奥夫拉多尔，属于MORENA党。</think>
<think>等等，让我确认一下MORENA的成立时间。</think>
<search>MORENA party founding year</search>
...
这种"等等，让我确认一下"的反思行为，没有任何人工数据教过模型这么做。它是纯粹从"答案对错"的奖励信号中，通过强化学习自发产生的。
这和DeepSeek-R1的发现一脉相承：当你用RL训练模型推理，而不是用SFT教它怎么推理时，模型会自己"发明"推理策略。ReSearch把这个发现扩展到了"推理+搜索"的交叉地带。
为什么这很重要
ReSearch解决了一个长期存在的矛盾：
传统RAG（检索增强生成）是"先检索再生成"——但检索什么往往需要先理解问题，而理解问题又需要推理。这是个鸡生蛋的问题。
ReSearch的答案是：不要把检索和推理分开，让推理本身包含检索决策。 模型边想边查，查到的信息反过来影响下一步怎么想。
更深层的方法论启示：当一个问题难以标注中间步骤时（你怎么标注"正确的搜索时机"？不同人会有不同答案），用最终结果的奖励信号让模型自己学，可能比强行标注更好。 这和最近一系列RL训练推理模型的工作（o1、R1、ToRA）指向同一个方向——过程监督的尽头，可能是无需过程监督。
局限与开放问题
论文也坦诚了局限：
- 检索环境：使用基于维基百科的开放检索环境，与真实网络搜索有差距
- 训练数据：只在MuSiQue上训练，虽然泛化到了四个基准，但领域覆盖仍有限
- 搜索粒度：每次搜索是整段查询，没有子查询分解的机制
代码与复现
论文开源了代码：https://github.com/Agent-RL/ReSearch ，基于Qwen2.5系列模型，使用vLLM做推理加速。对于想复现或扩展这个框架的研究者，这是一个可以直接上手的项目。
一句话总结：ReSearch证明了，当你用强化学习训练模型"在推理中搜索"，而不告诉它怎么推理时，模型会自己学会反思、自我纠正、和多步检索——这些能力的涌现，不需要任何推理步骤的监督数据。