深度研究的"规划优先"革命：DecomposeR 如何用一张图解开 AI 研究的信用分配死结

论文元数据

🌊 1. 当 AI 做"深度研究"时，真正卡住的不是搜索能力，而是规划能力

想象你交给一位研究员一个复杂问题："农林业间作系统中，树木根系如何减少地下氮素流失？"一位优秀的研究者不会立刻打开搜索引擎输入关键词。她会先规划——这个问题涉及哪些子议题？树木根系吸收氮素的机制、农林系统对氮循环的影响、土壤水分和养分运移过程、根系架构的时空动态……每个子议题需要什么证据？这些证据之间如何关联？最终如何综合成一份有引用支撑的长篇报告？

这个规划过程，恰恰是当前 AI "深度研究"系统最薄弱的环节。OpenAI Deep Research、Perplexity 等前沿系统展现了强大的检索与合成能力，但它们的训练方式存在两个根本缺陷：信用分配模糊与奖励稀疏。在典型的 ReAct 式扁平轨迹中，推理、搜索、证据选择、分支综合和最终写作交织在一起，一个标量奖励从最终答案反向传播到每个动作。若最终答案质量不佳，梯度无法定位失败点——是计划错了？还是执行差了？还是检索遗漏了关键证据？三者混为一谈，系统无从改进。

更深层的问题在于规划的内隐性。在现有系统中，规划不是一个可被独立检查的对象，而是消融在模型内部的推理 trace 里。用户只能看到最终的搜索查询和最终报告，无法审查模型"原本打算如何研究这个问题"。若报告存在偏见或遗漏，我们无从判断是检索策略的失误、证据综合的偏差，还是问题分解的结构性缺陷。这种不可审计性，在科学文献综合、临床证据聚合、政策分析等高风险场景中尤为危险——一个看似专业详尽的报告，可能建立在有缺陷的研究计划之上，而使用者浑然不觉。

现有训练范式试图从两个方向绕过这个问题。一个方向是用短形式可验证 QA 作为深度研究的代理任务——模型先学会回答有标准答案的简短问题，再期望这种能力迁移到开放式长篇研究。但短形式 QA 所需的推理深度和信息整合广度，与真正的深度研究不可同日而语。另一个方向是优化单一的长轨迹，用最终答案的质量作为唯一监督信号。这种方式虽然直接，却使中间的所有规划决策、搜索选择和分支综合都只能间接地被塑造，学习缓慢且信用传播不稳定。

新加坡国立大学团队提出的 DecomposeR，正是为了解开这个死结。其核心洞见朴素而深刻：深度研究不是一条线，而是一张图；规划不是执行的附庸，而是应当被显式化、结构化、单独奖励的策略对象。

🗺️ 2. 从扁平轨迹到类型化 DAG：让研究计划"看得见"

现有 RL 训练的深度研究系统将 agent rollout 建模为扁平序列：模型动作与工具观察交替进行，直到产生最终答案，单个标量奖励贯穿每个动作。这种形式化直接导致了三个问题：每个动作——无论承载规划决策、搜索查询还是综合句子——都在同一奖励下更新，梯度无法定位失败角色；每个中间动作仅通过其对终端答案的间接效应被塑造，监督稀疏；动作是无结构化的 token 序列，子任务间依赖和跨分支证据复用没有原生表示。

DecomposeR 用显式计划 𝒢 取代扁平轨迹，在规划策略 πP 和回答策略 πA 之间建立中介：

初始计划 𝒢₀：planner 从查询 x 出发， emit 一张类型化 DAG。
环境执行：环境 ℰ 执行 𝒢₀ 中所有搜索节点，返回观察集 Z。
计划修订：planner 消费 Z， emit 修订计划 𝒢₁ 和待获取 URL 集合 F。
拓扑波执行：answerer 按拓扑顺序填充 𝒢₁ 的聚合节点，产生中间输出 O₁:K，最终生成引用支撑的报告 y。

这张 DAG 包含三种节点类型：搜索节点（携带查询字符串和关键要点，指定需要返回的证据）、聚合节点（携带综合简报，含需求陈述和需覆盖的关键要点）、终端答案节点（携带最终综合简报，无出边，每张图恰好一个）。有向边 u→v 声明 u 的输出被 v 消费：搜索节点之边携带检索证据，聚合节点之边携带分支级结论，汇入答案节点之边携带最终报告的输入素材。

DAG 结构的选择绝非随意。线性子查询列表仅提供扁平序列，无分支复用概念；树状子目标计划禁止节点被多个后代共享。DAG 则在结构层面显式表达了跨来源证据复用和层级综合——一个聚合节点的结论可被多个下游节点引用，证据在不同分支间流动而非孤立存在。这种结构进一步暴露了可寻址的性质：分支广度、跨分支整合、查询差异性，皆可被 planner 奖励直接瞄准。

以农林业氮素案例为例（详见第 5 节），N9（优先流与土壤运移）的输出同时服务于 N10（流失减少证据）和最终答案节点 N11。若采用线性结构，N5（土壤水分运移）和 N6（优先流）的搜索结果将直接汇入答案节点，中间不存在"优先流如何影响土壤运移"这一层级的综合，最终报告需要自行从原始搜索结果中重建这一推理链。若采用树结构，N9 不能被 N10 和 N11 同时引用——树的分支隔离性迫使系统要么复制 N9 的内容，要么将 N10 和 N11 合并为单一节点，牺牲模块化。DAG 的共享节点能力，使系统能够以更接近人类研究者思维的方式组织知识：先理解子机制，再评估其对核心问题的贡献，最终整合为完整叙事。

验证器在 DAG 执行前强制执行一组结构约束：图必须是连通的、无环的、具有有效 JSON 语法和节点 ID、节点类型必须在允许集合内、且恰好存在一个答案节点。无效图在奖励计算前即被 validity gate 拒绝，这种"先验证后奖励"的设计防止了 malformed 结构通过 reward hacking 获得虚假高分。

⚖️ 3. 两阶段训练：先学会规划，再学会写作

DecomposeR 的训练分为冷启动 SFT、Planner RL 和 Answerer RL 三个阶段。但真正的设计精髓在于** Planner 与 Answerer 的解耦训练**。

为何不能联合训练？若将规划与回答 collapse 为单一策略、单一轨迹级奖励，两者的失败模式将被混淆：低分答案无法区分"弱计划被忠实执行"与"强计划被执行 poorly"。DecomposeR 的解决方案是阶段化：Planner RL 仅优化依赖于 𝒢₁ 的奖励，从不接触 answerer 输出，于是计划质量被隔离于执行噪声之外；Answerer RL 则在固定 planner 上训练，answerer 信用不会被漂移的计划质量所混淆。阶段化还减少了联合训练两个互为环境策略所固有的非平稳性，留下两个稳定的单策略优化问题。

这种设计与人类研究团队的组织方式遥相呼应。一个研究项目通常由" PI 设计研究框架、博士生执行实验、博士后综合发现"的分工完成。PI 的研究计划质量可以通过"将同一计划交给不同执行团队、比较最终产出"来独立评估；执行团队的能力可以通过"让不同 PI 为同一问题设计计划、比较执行结果"来独立评估。DecomposeR 的两阶段训练，本质上是将这种人世间的分工智慧形式化为机器学习框架。固定外部 answerer 实验（GPT-4.1 执行不同 planner 的计划）正是这种"同一执行器、不同规划者"评估策略的自动化实现。

Planner RL 的奖励结构包含三个顶层项：

评分标准覆盖（Cᵣᵤᵦ）：衡量计划节点字段对问题评分标准的语义覆盖度。若查询要求覆盖"机制、证据、影响"三方面，而计划仅安排了机制搜索，则覆盖项给出低分。

搜索质量（Qₛₑₐᵣcₕ）：评估搜索节点返回结果的相关性和信息量，确保检索不流于形式。

图表达力（Eᵧᵣₐₚₕ）：奖励分支广度、证据复用率和跨分支整合度。消融实验显示，移除此项导致图结构 collapse 为更简单、更少整合的形态，性能显著下降。

Answerer RL 的奖励结构包含：

聚合执行奖励（Rₑₓₑc）：为每个聚合节点的关键要点覆盖度评分。这是 answerer 最重要的子组件——移除它导致分支级覆盖度大幅下降，基准分数跌落最剧。

评分标准评判（Jᵣᵤᵦ）：LLM 评判最终答案对评分标准的满足度。

分支利用率（Uᵦᵣₐₙcₕ）：衡量最终答案对中间分支输出的利用程度。无此项时，内容重叠度从 0.82 降至 0.61，answerer increasingly 无视自身分支产出、从头重推导报告。

训练诊断图（论文图 4）揭示了 planner RL 的一个有趣动态：边数增长速度超过节点数。这表明模型不仅在生成更多节点，还在学会跨分支复用证据——将不同搜索节点的结果汇入同一聚合节点，或将同一聚合节点的结论分发到多个下游节点。这种结构复杂度的增长，是 planner 真正"学会规划"的标志，而非简单的节点数量膨胀。Answerer 长度曲线（图 5）则显示回答在训练过程中变长，但团队认为这不是长度奖励 hacking——活跃奖励中并无直接长度项，且奖励曲线追踪的是执行和综合改进。

📊 4. 实验：8B 模型如何逼近前沿系统的规划质量

DecomposeR 在三个长形式基准上评估：DeepResearchBench（通用域深度研究）、HealthBench（临床证据聚合）、ResearchQA-Mini（科研文献综合）。基准模型为 Qwen3-8B，对比对象包括同规模基线（Qwen3-8B + Search、WebExplorer-8B）和训练-free 强参考（GPT-5 prompt-only planning）。

4.1 主结果

DecomposeR-8B (SFT+RL) 在三个基准上分别达到 41.8（DRBench）、42.0（HealthBench）和 71.4（ResearchQA-Mini），是同规模模型中的最强开放模型。相比 Qwen3-8B + Search，提升幅度为 7.4、22.2 和 14.4 分——尤其 HealthBench 上的 22.2 分跃迁，表明结构感知奖励对需要精确证据聚合的临床领域尤为关键。

4.2 阶段化训练的必要性

联合训练基线（Joint RL）与 DecomposeR 共享相同架构、LoRA 适配器、SFT 初始化和 DAG 表示，区别仅在于训练 schedule 和奖励分配。联合训练同时更新 planner 和 answerer 适配器，从最终答案的单一轨迹级奖励计算梯度。结果显示，阶段训练比联合训练高出 3.7–4.7 分，在 rollout 最长的 DRBench 上差距最大——这正是稀疏轨迹末端信用分配受害最深之处。

为排除"answerer 补偿弱计划"的替代解释，团队设计了固定外部 answerer 实验：用 GPT-4.1 作为标准化执行器，分别喂入四个 planner 产出的计划。结果显示，DecomposeR planner 产出的计划，其下游答案质量远超 SFT-only 和 Joint-RL planner，接近或超过 GPT-5 planning baseline——而 DecomposeR 的 backbone 仅为 8B。这确认：阶段训练的增益追溯到 planner 本身，而非 answerer 的补偿效应。

4.3 类型化 DAG 与两阶段规划的不可替代性

将 DAG 替换为线性结构（搜索节点直连答案节点，无聚合层），三个基准分数暴跌至 34.2/31.5/57.8。替换为树结构（聚合节点至多一个父节点，近似层级大纲），分数为 38.6/39.8/65.3。 typed DAG 在所有基准上均胜出一筹，在需要跨主题分支综合证据的任务上差距尤大。

线性结构的崩溃尤其值得深思。它近似于 ParallelSearch 和 SubSearch 使用的并行子查询结构——多个搜索同时执行，结果直接汇入最终答案。这种结构在简单事实查询上有效，但在需要层级综合的深度研究任务上完全失效。没有聚合层，系统无法表达"先理解子机制、再评估其对核心问题的贡献"这种层级推理。最终答案被迫从原始搜索结果直接跳跃到综合结论，中间缺失了必要的概念桥梁。

树结构的性能介于线性和 DAG 之间，印证了 WebWeaver 等层级大纲系统的部分有效性——它们能够表达"从子主题到综合"的层级关系。但树的分支隔离性限制了证据复用：一个关于"优先流"的综合结论，若同时服务于"流失减少证据"和"根系机制"两个分支，在树中必须被复制或合并。DAG 的共享节点能力解除了这种限制，使系统能够更灵活地组织知识。

禁用搜索后的修订回合（single-turn planning），分数降至 35.1/36.7/67.5。这验证了核心直觉：仅凭参数知识生成的初始计划，需要被检索现实校准——planner 需要看到实际返回的 snippet 才能判断哪些子查询有效、哪些需要补充、哪些应当放弃。参数知识常常与开放网络的检索现实错配：查询可能返回稀疏、离题或过时的 snippet，而 planner 在 emit 𝒢₀ 时无从预知这些。修订回合关闭了这个规划-现实循环，使计划从"参数知识的猜测"进化为"检索现实的响应"。

🌾 5. 案例解剖：一张农林业氮素图的成长史

论文附录详细记录了一个完整 rollout：查询为"农林业间作系统中，树木根系如何减少地下氮素流失？"

Planner 第一回合 emit 初始 DAG（图 15）：5 个搜索节点（N1-N5）分别覆盖"根系吸收机制""农林系统氮循环""地下氮流失证据""根系架构时空动态""土壤水分养分运移"；3 个聚合节点（N6-N8）分别综合前三类证据；1 个答案节点（N9）整合所有分支。

环境执行 5 个搜索查询，返回结果附着于各节点。

Planner 第二回合 看到检索现实后修订 DAG（图 17）：新增搜索节点 N6 专门检索"优先流与根系如何改变流失路径"；将聚合节点重组为 N7-N10，使 N9（优先流与土壤运移）成为 N10（地下氮流失被根系减少的证据）的输入之一；答案节点更新为 N11，接收 N7（根系减少氮流失的机制）、N8（农林系统改变氮循环）和 N10（流失减少证据）。

Answerer 执行 分两波：第一波并行填充 N7、N8、N9；第二波填充依赖 N9 的 N10；最终 N11 综合三分支产出，生成引用 11 篇文献的完整报告。

这个案例的精妙之处不在于答案本身，而在于规划的可审计性。若最终报告质量不佳，我们可以检查：是 N3（地下氮流失证据）的搜索返回了无关结果？还是 N9（优先流）的综合遗漏了关键机制？还是 N10 的推理链存在逻辑跳跃？每个问题都对应 DAG 中的一个具体节点，信用分配由此从"黑箱轨迹"变为"结构化诊断"。

对比典型的 ReAct 式系统，其轨迹是一连串交替的"思考-行动-观察"三元组。若最终报告有问题，我们只能看到模型在某个时刻搜索了某篇论文、在另一个时刻写下某段文字，但无法判断这些动作在整体研究计划中的结构性角色。DecomposeR 的 DAG 表示则提供了结构性透视：我们可以一眼看出系统如何分解问题、哪些证据来源被纳入考量、不同子议题如何被综合、最终结论依赖于哪些中间推理。

这种可审计性对科学研究的诚信至关重要。试想一个临床证据聚合场景：AI 系统产出一份关于"某药物对罕见病疗效"的综合报告，被医生用于临床决策。若报告存在遗漏，ReAct 系统的用户只能看到"模型搜索了 PubMed 和 WebMD"，无法判断它是否遗漏了关键的 Cochrane 系统评价。DecomposeR 的用户则可以检查 DAG：系统是否安排了针对系统评价的专门搜索节点？其证据综合是否覆盖了所有相关临床试验？最终结论是否基于充分的分支整合？这种透明性不是技术炫技，而是医疗安全和科学诚信的基础设施。

🔬 6. 为何"规划优先"是深度研究的正确范式

DecomposeR 的贡献超越了一个具体模型，它提出了一种范式转移：深度研究的训练目标应当从"优化最终答案"转向"优化研究计划的质量"。

这一转移的必要性源于深度研究任务的固有结构。短形式 QA 可以依赖最终答案的标量奖励，因为推理链短、失败点少。深度研究则不同：一个典型 rollout 包含数十次搜索、多个分支综合和数千 token 的最终报告。将单一标量奖励反向传播到每个动作，相当于用一把尺子测量一座城市的地图——能量化总距离，却无从知晓哪条街道走错了。

类型化 DAG 的价值在于将不可见的规划过程变为可见的结构化对象。在 DecomposeR 之前，planning 是模型内部的隐式推理 trace——用户只能看到最终答案，无法审查模型"打算如何研究这个问题"。DecomposeR 使 planning 外化为可被人类检查、可被自动评估、可被迭代改进的显式 artifact。这种透明性对于科学文献综合、临床证据聚合等高风险场景尤为重要：若 AI 产出的医疗建议基于有缺陷的文献检索策略，能审查其研究计划比仅能质疑最终答案更有价值。

两阶段训练的启示同样深远。它表明深度研究中的规划与执行具有不同的优化 landscape：规划需要战略性思维（哪些方向值得探索、证据如何组织），执行需要战术性技能（如何综合片段、如何撰写连贯报告）。将两者混为一谈，如同要求一位棋手同时优化开局战略和中盘战术，而只根据终局胜负给予反馈。DecomposeR 的阶段化设计承认这种分工，使每个角色获得与其职责匹配的监督信号。

更广泛的视野下，DecomposeR 与 AutoSci（上一篇论文）形成了有趣的对话。AutoSci 关注完整科研生命周期中的记忆与进化，DecomposeR 则聚焦深度研究任务中的规划与执行。两者共享一个核心信念：AI 科研能力的瓶颈不在单点技能，而在技能之间的结构与协调。AutoSci 用类型化记忆图组织跨项目知识，DecomposeR 用类型化 DAG 组织单次研究的证据流。若将两者结合——AutoSci 的长期知识记忆为 DecomposeR 的 planner 提供领域背景，DecomposeR 的 DAG 执行产出写入 AutoSci 的活跃研究记忆——我们或许能逼近一个既会深度研究、又会跨项目进化的真正科研智能体。

⚠️ 7. 局限与未解之问

论文诚实列出了若干局限。首先，planner 的 DAG 输出依赖 JSON 解析，解析失败会导致整个 rollout 得零分——尽管团队通过部分信用机制缓解了这一问题，解析鲁棒性仍是工程挑战。其次，当前评估聚焦于可自动评分的基准，真实场景中研究质量的终极裁判是人类专家，而人机对齐的评估框架尚未建立。第三，两阶段训练增加了训练流程的复杂性：需要分别收集 planner 和 answerer 的数据、分别调优奖励权重、分别监控训练动态。对于资源受限的团队，这种复杂性可能构成 adoption barrier。

更深层的未解之问在于规划的泛化性。DecomposeR 的 planner 在农林业氮素、健康医学等域表现良好，但面对完全陌生的领域（如前沿数学猜想或跨学科综合问题），类型化 DAG 的先验结构是否仍然适用？DAG 的节点类型（搜索、聚合、答案）是基于当前深度研究任务的归纳，更具创造性的研究形式——如设计全新实验范式或提出颠覆性理论框架——可能需要更丰富的节点类型和更灵活的图结构。

此外，证据质量的评估仍是一个开放问题。DecomposeR 的搜索质量奖励（Qₛₑₐᵣcₕ）衡量检索结果的相关性和信息量，但未能区分"相关但错误"与"相关且正确"的证据。在虚假信息泛滥的开放网络环境中，一个精心规划的研究可能因检索到高质量伪装的无稽之谈而产生令人信服的错误报告。将来源可信度评估纳入 planner 奖励，是下一代系统必须面对的挑战。

更深层的哲学问题在于**"好计划"的定义**。DecomposeR 的 planner 奖励基于评分标准覆盖、搜索质量和图表达力，这些指标捕获了"计划的结构性质量"，但未必等同于"计划导向真相的能力"。一个计划可以完美地覆盖评分标准的每个维度、执行广泛的搜索、构建复杂的证据整合图，却仍然导向错误结论——若其核心假设存在系统性偏见，或检索结果本身被错误信息主导。这种"结构性完美但实质谬误"的风险，是所有基于结构化奖励的 AI 系统必须警惕的陷阱。未来的工作可能需要引入对抗性验证机制：专门训练一个"魔鬼代言人"智能体，试图从 planner 产出的 DAG 中推导出相反结论，若成功则表明计划存在未被覆盖的替代解释。

🎯 8. 结语：从"会搜索"到"会研究"

DecomposeR 的实验结果——8B 模型在规划质量上逼近 GPT-5、在综合性能上超越同规模基线 5–8 分——证明了一个反直觉的结论：深度研究的瓶颈不在模型规模，而在训练范式。当规划被显式化、结构化、单独奖励，小模型可以展现出大模型在扁平轨迹训练中无法触及的研究能力。

这一结论对整个 AI 研究领域具有放诸四海的启示。当前的大模型竞赛聚焦于参数规模与训练数据量，DecomposeR 提醒我们：结构化的训练目标可能比更大的模型更重要。一个 8B 模型，若其训练信号与任务结构对齐，可以在特定能力维度上超越参数十倍于它的模型——正如 DecomposeR planner 在固定外部 answerer 实验中接近 GPT-5 的规划质量。

更深远的意义在于AI 系统的可审计性。当研究计划被表示为类型化 DAG，人类可以审查 AI "打算如何研究这个问题"，可以检查每个搜索查询的合理性、每段综合的逻辑链、每个证据引用的来源。这种透明性不是奢侈品，而是科学诚信的必需品——尤其在临床证据聚合、政策分析、法律研究等高风险领域。

从 AutoSci 的完整科研生命周期到 DecomposeR 的深度研究规划，我们正目睹 AI 科研能力从"工具集合"向"结构化智能体"的演进。下一个门槛或许不再是"AI 能否产出一篇可发表的论文"，而是"人类能否理解并信任 AI 的研究过程"。DecomposeR 用一张图给出了一个肯定的起点。

📚 参考文献

1. Hussain, M. A., Wu, X., & Lu, Y. (2026). DecomposeR: Planner-Centric Reinforcement Learning for Deep Research with Structure-Aware Reward. arXiv:2605.30824 [cs.AI].

2. OpenAI. (2025). Deep Research. OpenAI Blog.

3. Jin, Q., et al. (2025). Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning. arXiv preprint.

4. Li, X., et al. (2026). WebWeaver: Dynamic Outlines and Evidence Memory for Deep Research. arXiv preprint.

5. Yao, S., et al. (2023). ReAct: Synergizing Reasoning and Acting in Language Models. ICLR 2023.

#CrushAI #FeynmanLearning #智柴系统实验室🎙️