Mosaic：多会话Agentic RL的信用分配难题——当训练假设与推理现实脱节

当Agent的"记忆"被切碎，谁来为每一段贡献打分？

一个被忽略的断裂

想象一个场景：你让AI助手去网上搜索一个复杂问题的答案。它先搜了一轮，发现线索不够，于是把已有信息压缩成摘要，再开一轮新搜索。或者它派出几个子Agent分头去找，最后汇总。

这在Agent世界里叫"多会话"（multi-session）——一条完整任务轨迹被切成了好几段。

问题来了：现在主流的Agentic RL训练方法（GRPO、PPO等）都假设Agent在一个连续上下文里完成所有事情。训练时，整条轨迹拿到一个奖励，这个奖励被"广播"到所有token上。但推理时，Agent的轨迹被切成了多段——有的段做了关键决策，有的段只是整理信息，有的段走了弯路。

把同一个奖励广播给所有段，就像公司给全员发同样的奖金——不管你是签了大单的还是摸鱼的。

Mosaic这篇论文（arXiv: 2610.22174）正对这个断裂。

核心问题：广播的三大缺陷

论文指出，当Agent轨迹跨越多个会话时，传统的"广播式"优势估计有三个致命问题：

1. 不区分贡献：一个成功的轨迹里，可能有些会话做了关键贡献，有些只是浪费token。广播无法区分。

2. 无法指导会话分配：如果一条轨迹用了5个会话成功了，另一条用了3个也成功了，哪个更好？广播式方法没有信号来引导Agent用更少的会话完成任务。

3. 训练-推理不匹配：训练时假设单会话，推理时用多会话。模型在训练中学到的"如何在一个上下文里做决策"的能力，在推理中被上下文压缩和子Agent分叉打乱了。

Mosaic的解法：分层信用分配

Mosaic的核心思路是critic-free的分层优化——不需要额外的价值网络，在两个层面做优势估计。

轨迹层：把"会话使用量"编入优势

在轨迹层面，Mosaic不只是看"任务成功没有"，还看"用了几个会话"。两条都成功的轨迹，用更少会话的那条获得更高优势。这就像同样完成项目，用3个人的团队比用5个人的团队更值得奖励。

具体实现上，论文设计了两种排序规则：

• C1（成功轨迹之间）：会话数少的排名靠前
• C2（失败轨迹之间）：同样失败，但探索更充分（用了更多会话）的排名靠前——因为失败可能是运气问题，探索充分说明Agent在认真尝试

会话层：边际贡献塑造

在会话层面，Mosaic估计每个会话的边际信息增益——如果去掉这个会话，轨迹成功的概率会降多少？

这就像评估团队里每个人的贡献：不是看每个人做了多少事，而是看如果去掉这个人，项目会不会黄。关键决策者的边际贡献高，整理信息的会话边际贡献低。

论文设计了一个门控机制来处理一个微妙的情况：所有会话都失败的轨迹。这时不能简单按边际贡献排序（因为都是负贡献），而是保持方向一致性——探索性更强的会话获得相对更高的优势。

实验结果：更少会话，更高成功率

实验在BrowseComp基准上用Qwen3.5-4B进行，测试了两种多会话场景：

上下文压缩场景：

• Mosaic成功率高于广播方法
• 平均使用更少会话
• 会话效用（每个会话的边际贡献）显著提升

子Agent分叉场景：

• 同样优于广播方法
• 会话分配更合理——关键决策获得更多"预算"，无效探索被抑制

论文还做了一个有意思的机制分析：把Mosaic的优势估计和"真实"的每会话贡献（通过留一法估计）做对比，发现Mosaic的估计和真实贡献的相关性远高于广播方法。这说明分层优势估计确实捕捉到了每个会话的真实贡献。

为什么这篇论文重要

1. 暴露了一个被忽视的断裂

Agentic RL领域大部分人都在关注"如何设计更好的奖励"或"如何扩展 rollout"，但很少有人注意到训练和推理之间的会话结构不匹配。Mosaic把这个断裂摆到了台面上。

2. 提供了一个简单有效的解法

不需要额外的critic网络，不需要复杂的训练流程改动，只需要在优势估计时做两层调整。这种"小改动大效果"的方法通常更容易被社区采纳。

3. 指向了未来的关键方向

论文在讨论部分提出了几个非常有前瞻性的方向：

• 跨会话状态转移作为学习目标：不只是分配信用，还要学习"如何把一个会话的关键信息传递到下一个"
• 异步训练：多会话rollout天然适合异步——不同会话可以并行展开
• 黑箱Agent框架内的RL：当Agent框架（如Claude Code、Cursor）是黑箱时，如何做RL？

一个更深的洞察：信用分配的粒度问题

Mosaic让我想到一个更普遍的问题：RL中的信用分配，粒度到底该多细？

• 最粗：轨迹级奖励广播到所有token（传统GRPO）
• 中等：会话级优势（Mosaic）
• 更细：chunk级归因（如Hy-Memory的chunk-level attribution）
• 最细：token级信用分配（理论理想，计算不可行）

每往细一层，信用分配就更准确，但估计方差也更大。Mosaic选择会话级是一个甜蜜点——足够细以区分贡献，又足够粗以保持估计稳定性。

这和人类组织管理惊人地相似：CEO不会给每个员工打分（太细，噪声大），也不会给全公司发一样奖金（太粗，不公平）。部门级评价是常见的折中。Mosaic的会话级优势估计，就是Agent世界的"部门级KPI"。

局限与思考

论文也有几个值得商榷的地方：

1. 边际贡献的估计：论文用"去掉这个会话后成功概率的变化"来估计边际贡献，但这个估计本身需要额外的rollout，计算开销不小。论文没有详细讨论这个开销的trade-off。

2. 只在BrowseComp上测试：BrowseComp是网页搜索任务，天然适合多会话。但代码生成、数学推理等任务的多会话结构可能不同——代码生成可能不需要那么多会话切换。

3. Qwen3.5-4B的代表性：4B模型的行为模式可能和更大模型不同。在70B或更大模型上，广播式方法可能已经足够好——大模型可能自己学会了区分会话贡献。

结语

Mosaic揭示了一个简单但被忽视的事实：当Agent的工作方式从"一口气做完"变成"分段完成"，训练方法也必须跟着进化。 广播式优势估计是单会话时代的产物，多会话时代需要会话感知的信用分配。

这不仅是技术问题，也是工程哲学问题：当你的系统结构变了，评估方式也必须跟着变。 否则你就是在用旧尺子量新世界。

---

论文链接：https://arxiv.org/abs/2610.22174 项目主页：https://lark-ai-lab.github.io/Mosaic/ 代码仓库：https://github.com/LARK-AI-Lab/Mosaic