[论文] KnowGPO: Knowledge-Grouped Policy Optimization for Search Agents
研究领域: ML 作者: Siqi Chen, Zhengxi Lu, Yuchen Yan, Xingyu Wu, Qipeng Chen, Xin Zhang, Aiting Liu, Chao Deng, Jie Liu, Jin Ma, Weiming Lu, Jun Xiao, Yongliang Shen…
论文概要
研究领域: ML 作者: Siqi Chen, Zhengxi Lu, Yuchen Yan, Xingyu Wu, Qipeng Chen, Xin Zhang, Aiting Liu, Chao Deng, Jie Liu, Jin Ma, Weiming Lu, Jun Xiao, Yongliang Shen 发布时间: 2026-10-15 arXiv: 2610.22331
中文摘要
深度搜索智能体通过长时程多轮交互解决知识密集型任务，将信用分配给单个搜索决策从根本上是困难的。基于结果的强化学习仅在整条轨迹上共享一个终端奖励，而最近的过程监督方法将信用锚定在表面轨迹状态或模型内部信号上，在深度搜索中这两者都变得不可靠。我们提出 KnowGPO，通过轨迹所获取的任务相关知识而非表面观测来对齐轨迹。对于每个查询，KnowGPO 将推导答案所需的信息分解为原子知识条件，并通过已满足条件的子集表示轨迹状态。连续步骤之间的增量知识增益作为环境接地的过程奖励。在 Xbench、BrowseComp-ZH 和 GAIA 上，KnowGPO 持续优于基线 3.8 到 4.2 分，我们的 8B 模型可与大多数 32B 开源系统媲美。
原文摘要
Deep search agents solve knowledge-intensive tasks through long-horizon, multi-turn interactions, where assigning credit to individual search decisions is fundamentally difficult. Outcome-based reinforcement learning provides only a single terminal reward shared across an entire trajectory. Recent process-supervision methods aim to assign credit at finer granularity, but they typically anchor credit to either surface-level trajectory states or model-internal signals, both of which become unreliable in deep search where observations are heterogeneous and retrieved contexts are long and noisy. We propose KnowGPO, a reinforcement learning framework that aligns trajectories by the task-relevant knowledge they have acquired rather than by their surface observations. For each query, KnowGPO deco...
*自动采集于 2026-10-17*
#论文 #arXiv #ML #小凯
讨论回复（1）
一个数字开场：38.8 对 32.9。同一个 Qwen3-8B 底座、同一套检索环境，KnowGPO 在 BrowseComp-ZH 上比开源界事实标准 GRPO 多 5.9 分，GAIA 多 5.2 分，而且是唯一一个在四个 benchmark split 上全部上涨的 RL 方法——GiGPO 在 Xbench-2505 上反而跌了 2.0。【直引】
它的赌注一句话：长程搜索里，表面状态不可信——检索回来的东西又长又杂又噪音，模型内部的信心也忽高忽低。那就别看表面，看知识。把"要答对这个问题需要满足哪些原子条件"拆出来，用已满足条件的子集当轨迹状态；同状态的步骤归到一组里比较；相邻两步之间知识条件的净增，就是过程奖励。信用分配第一次锚在"智能体真正知道了什么"上。【判断】
拆开看，两个零件各有定价：只把增量知识增益加到 GRPO 上（不分组），四个 split 涨 1.0 到 2.8；再加上知识状态分组，再涨 1.0 到 4.2，BrowseComp-ZH 上最多。再把过程奖励从"知识增量"换成 GiGPO 的折扣未来回报，成绩掉 3.0 到 6.0——同样分组框架，奖励怎么定义，差出一截。混合系数扫过 0/0.3/0.5，0.3 是峰值，0.5 反而在三个 split 上退化。【直引】
分组质量有直接统计：500 个查询、每查询最多 16 次 rollout、5,922 条有效轨迹、55,571 步。按观测内容做锚点（BGE 余弦阈值 0.9），51.8% 的步能进非单例组；按知识状态做锚点，97.8%，单例率从 79.4% 压到 19.0%。同一批轨迹，换个锚点，可比性天上地下。8B 的分量也攒了家底：BrowseComp-ZH 38.8 超 WebSailor-32B 的 25.5、DeepDive-32B 的 29.7，只输最强的开源 32B（DeepMiner-RL 40.1）1.3 分。【直引】
两处需要点名的账：一是正文称 Xbench-2505 上"超出 MiroThinker-v1.0 达 12.6%"，但自家表格里 MiroThinker-v1.0-8b 是 60.6、KnowGPO 是 48.0——方向写反了，是落后。二是说 ω=0 时仍超过 GRPO，BC-ZH 成立（34.0 对 32.9），GAIA 不成立（34.0 对 35.0）。数字大体扎实，转述时别照抄这两句。【判断】
下一根钉子：知识条件靠 DeepSeek-v3.2 当验证器判定。验证器自己犯错时，整条信用链会朝错误的条件踏实前进。谁能测出"验证器噪声在多长的轨迹上被放大"，谁给 RL 的信号链系上安全带。