E3：当测试时计算学会探索——不对称技能链式与负梯度驱动的推理外推

2025 年 6 月，CMU 团队发布了 E3（Learning to Explore Enables Extrapolation of Test-Time Compute），揭示了现有推理模型在测试时计算外推（extrapolation）方面的结构性缺陷。通过引入不对称技能链式、负梯度探索与难度-预算耦合课程三个关键成分，E3 训练的 1.7B 模型在 AIME'25 和 HMMT'25 上达到了同规模最优水平，并展现出对 2 倍训练预算的外推能力。

1. 测试时计算的核心挑战：Extrapolation 困境

1.1 从 Interpolation 到 Extrapolation

测试时计算（test-time compute）的研究通常关注 interpolation——在训练时见过的预算范围内优化性能。然而，真正的挑战在于 extrapolation：

Extrapolation：模型在训练时针对预算 \(C_{\text{train}}\) 进行优化，但在测试时能否有效利用 \(C_{\text{test}} \gg C_{\text{train}}\) 的额外计算资源来持续提升性能？

Setlur 等人（2025）的实验表明，大多数现有推理模型在这一维度上表现不佳：

关键发现：当前模型的训练目标通常优化的是在固定预算内的单次通过率（pass@1），而非在可变预算下的持续改进能力。这导致模型学会了"在预算内一次性答对"，而非"在更多预算下持续探索"。

2. E3 的三成分框架

2.1 成分一：不对称技能链式（Asymmetric Skill Chaining）

E3 的核心洞察是：基础模型在不同子技能上的掌握程度存在显著差异。与其均匀提升所有能力，不如利用强技能来弥补弱技能，通过链式组合实现 in-context 搜索。

链式机制：模型不需要在生成上达到专家水平。它只需要生成足够多样化的候选，然后让擅长的验证技能来筛选。这种"扬长避短"的策略使得整体推理能力超越了任何单一技能的水平。

形式化地，设技能集合为 \(\mathcal{S} = \{s_1, s_2, \dots, s_n\}\)，每个技能 \(s_i\) 有对应的模型掌握度 \(c_i \in [0, 1]\)。E3 寻找的并非 \(\max_i c_i\) 的单一技能，而是技能序列 \(\sigma = (s_{i_1}, s_{i_2}, \dots, s_{i_k})\)，使得链式执行的整体成功率最大化：

2.2 成分二：负梯度放大探索（Negative Gradient Exploration）

传统 RL 训练主要利用正确轨迹的正向信号。E3 的创新在于系统性利用错误轨迹的负梯度来引导探索。

对于错误轨迹 \(\tau^-\)，传统方法的更新为：

E3 则将其转化为探索信号：

机制解释：负梯度 \(\nabla_\theta \log \pi_\theta(\tau^-)\) 指示了如何降低生成该错误轨迹的概率。在策略梯度框架中，这等价于增加探索其他轨迹的概率。通过放大这一信号，E3 鼓励模型主动避开已知的失败模式，进入尚未充分探索的推理空间。

2.3 成分三：难度-预算耦合课程（Difficulty-Budget Curriculum）

E3 的课程设计将任务难度与训练 token 预算显式关联：

设计原理：简单问题不需要长探索链，强制使用长预算会导致过思考（overthinking）。困难问题需要充分的探索空间，短预算则限制了发现解的可能性。通过匹配难度与预算，模型学会了按需分配计算资源。

3. 实验结果：1.7B 模型的 SOTA 表现

3.1 基准测试性能

E3-1.7B 在数学竞赛基准上的表现：

双重优势：E3 不仅提升了单次通过率（pass@1），还提升了在生成多个候选时的至少一次正确率（pass@k）。这表明模型学会了生成多样化的推理路径，而非在单一策略上优化。

3.2 Extrapolation 验证

核心证据：E3 模型在训练时只接触过 1K token 的预算，但在 2K token 的测试预算下仍能持续提升。这验证了模型学会了探索策略本身，而非仅仅记忆了特定预算下的最优行为。

4. 理论分析：E3 与相关框架的对比

4.1 与 MRT 的关系

E3 与 CMU 团队前期的 MRT（Meta Reinforcement Fine-Tuning）工作形成了互补：

潜在协同：E3 的探索策略与 MRT 的 progress reward 可以叠加——在探索过程中同时优化每个步骤的 progress，可能实现更强的测试时计算优化。

4.2 与标准 RL 的区别

5. 局限性与开放问题

5.1 技能链式的自动化

当前 E3 需要人工定义技能集合和链式结构。未来的关键问题包括：

• 能否从数据中自动发现技能分解？
• 最优链式结构是否因任务而异？
• 动态链式调整（根据中间结果选择下一步技能）是否可行？

5.2 负梯度的训练稳定性

放大负梯度信号可能引入训练不稳定性：

• 如何平衡正负梯度信号的比例？
• 负梯度是否会导致模式崩溃（mode collapse）到过于保守的策略？
• 在更复杂的奖励 landscape 中，负梯度的指导是否仍然有效？

5.3 跨领域泛化

E3 当前主要在数学推理上验证。其在其他领域的适用性待验证：

• 代码生成：验证（编译测试）强，生成（编写代码）弱——是否符合不对称假设？
• 科学推理：技能分解是否同样清晰？
• 多模态推理：跨模态验证的可行性？

6. 结论

E3 为测试时计算领域提供了一个重要的范式转换：从"优化固定预算内的性能"转向"训练模型学会有效探索，从而实现预算外推"。

三个成分——不对称技能链式、负梯度探索、难度-预算课程——共同构成了一个完整的训练框架，使得小模型（1.7B）能够通过聪明的探索策略达到前所未有的性能水平。

在预训练成本持续攀升的背景下，E3 代表了一条更具可持续性的路径：不是让模型更大，而是让模型更聪明地使用已有的计算资源。

论文详情

#Research #TestTimeCompute #Exploration #Extrapolation #智柴 🔬