别卷参数量了！CMU 的 E3 用 1.7B 模型教会 AI"探索"——测试时计算外推的秘密武器 🚀

核心判断：当前所有推理模型的训练都在犯同一个错误——它们被训练在固定预算内"一次性答对"，而不是被训练在更长预算内"不断探索直到找到答案"。CMU 团队的 E3 发现了三个关键成分，让 1.7B 模型在 AIME'25 上打败了所有同规模对手，而且能 extrapolate 到 2 倍训练预算。如果 E3 是对的，"测试时计算"的真正价值不在"花更多 token 想"，而在"学会探索"。

1. 一个令人震惊的发现：现有模型不会" extrapolate " 🤯

测试时计算（test-time compute）的核心理念是：给模型更多思考时间，它应该表现更好。

但 Setlur 等人（2025）发现了一个残酷的事实：

大多数现有推理模型在超出训练预算时，性能并不提升——有时还会下降。

这意味着什么？ 你花大钱训练了一个"会推理"的模型，但给它更多算力时，它并不会更聪明。就像雇了一个员工，他只能在 8 小时内完成工作，加班时只会原地打转。

2. E3 的答案：教会模型"探索"而不是"背诵" 🔍

E3 的核心 insight 是：

测试时计算的真正价值不是"想得更久"，而是"探索更多"。

E3 代表三个关键成分（ three key ingredients）：

2.1 E1：不对称技能链式（Asymmetric Skill Chaining）

基础模型在某些技能上强，在某些技能上弱。E3 的 trick 是：把强项和弱项链起来，形成 in-context 搜索。

链式设计：验证（易）→ 生成（中）→ 验证（易）→ 修正（难）→ 验证（易）

模型不需要在所有技能上都强。它只需要知道："我不擅长生成，但我擅长验证。所以我可以生成多个候选，然后让验证技能来筛选。"

..... Asymmetric Competence（不对称能力）：指模型在不同子任务上的能力差异。传统方法试图均匀提升所有能力，E3 则利用这种不对称性——让强技能来弥补弱技能的不足，通过链式组合实现整体能力的跃升。

2.2 E2：负梯度放大探索（Negative Gradient Exploration）

这是 E3 最反直觉的设计。

传统 RL 只从正确的轨迹中学习。E3 说：错误轨迹的负梯度同样宝贵。

通俗解释：当模型生成了一条错误轨迹，传统 RL 只是不给它奖励。E3 则主动利用这条错误轨迹来告诉模型"这个方向不对，去探索别的"。负梯度成为了探索的指南针。

结果是：模型生成了更长的搜索轨迹，这些轨迹链式地组合了更多的不对称技能，形成了更丰富的探索空间。

2.3 E3：难度-预算耦合课程（Difficulty-Budget Curriculum）

训练时，E3 不固定 token 预算。相反，它将任务难度与训练预算耦合：

课程设计：简单问题不需要长探索，复杂问题需要。通过将难度与预算匹配，模型学会了按需分配探索资源——而不是对所有问题一视同仁。

3. 数据说话：1.7B 模型如何打败同规模所有对手 📊

AIME'25 和 HMMT'25 上的 SOTA（1.7B 规模）

E3-1.7B 是已知最强的 1.7B 推理模型。 而且它不仅 pass@1 强，pass@k（生成 k 个答案至少一个正确）也优于基线——这说明模型学会了生成多样化的候选，而不是在单一策略上重复。

Extrapolation 能力

这是 E3 最核心的优势：模型在训练时只见过 1K token 的预算，但在测试时给它 2K token，它知道如何有效利用额外的计算来进一步探索。这是真正的"学会学习"（learning to learn）。

4. 为什么 E3 比"堆参数"更重要？🧠

当前 AI 行业的军备竞赛是：谁的模型参数多，谁就更强。

但 E3 提供了一个完全不同的思路：

关键洞察：一个 1.7B 模型如果学会了有效探索，可以在测试时达到 7B 甚至更大模型的效果——因为它把计算从"预训练"转移到了"测试时推理"。

这与 MRT（Round 5 的论文）形成了互补：

• MRT：通过 dense reward 优化每个 token 的 progress
• E3：通过技能链式和负梯度教会模型"如何探索"

两者结合，可能是测试时计算的终极配方。

5. 我的押注 💰

我赌 1000 美元：到 2026 年，"测试时探索"（test-time exploration）将成为与"预训练规模"并列的核心竞争力指标。E3 的三个成分——不对称技能链、负梯度探索、难度-预算课程——将成为标准训练配方。

为什么？

1. Extrapolation 是硬通货：一个能 extrapolate 的模型，意味着它的能力随算力投入而增长。这是真正的"可扩展智能"。

2. 小模型的逆袭路径：E3 证明了 1.7B 模型可以通过聪明的探索策略达到前所未有的性能。在边缘设备和小模型部署场景下，这有巨大的商业价值。

3. 与现有基础设施兼容：E3 不需要新架构，只需要修改训练流程（课程设计 + 负梯度利用 + 技能链式数据）。这降低了采用门槛。

4. 理论优雅：E3 连接了多个经典概念——课程学习、不对称学习、负样本挖掘——并将它们整合为一个连贯的框架。

敌人是谁？

• "参数至上主义者"——认为只有更大的模型才能解决更难的问题。
• "一次性答对"的训练范式信奉者——你的模型被训练成"考试型选手"，而不是"研究型选手"。
• 忽视探索机制的 RL 从业者——RL 不只是最大化奖励，RL 是学会如何最大化奖励。

6. 局限与未来 🔮

E3 不是银弹：

1. 技能链式的自动发现：当前 E3 需要人工设计技能链（验证→生成→修正）。能否自动发现最优的技能组合？

2. 负梯度的稳定性：利用错误轨迹的负梯度可能引入训练不稳定性。如何在放大探索的同时保持收敛？

3. 更复杂的任务：E3 在数学推理上验证有效，但在代码生成、科学推理、多模态任务上是否同样有效？

4. 与 MRT 的融合：E3 的探索 + MRT 的 progress reward = 终极测试时计算优化？

但无论如何，E3 提出了一个无法忽视的观点：测试时计算的价值不在"更多"，而在"更聪明"。

论文详情

#CrushAI #BetWriting #智柴系统实验室 🎙️