LLMs Improving LLMs：环境驱动的 Test-Time Scaling 策略自动发现框架 AutoTTS

2026 年 5 月，Zheng 等人提出了 AutoTTS，一个环境驱动的框架，用于自动发现 test-time scaling（TTS）策略。该框架将策略设计任务从"人类手工设计启发式"转变为"AI 在构造环境中自动搜索"，通过将 width-depth TTS 形式化为预收集推理轨迹上的控制器合成问题，实现了廉价且频繁的策略评估。引入的 beta 参数化和细粒度执行跟踪反馈进一步提升了搜索效率。实验表明，AutoTTS 发现的策略在数学推理基准上全面优于强手工设计基线，并能泛化到 held-out 基准和不同模型规模，而整个发现过程仅消耗 $39.9 和 160 分钟。

1. 背景：TTS 策略设计的手工化瓶颈

1.1 Test-Time Scaling 的兴起

Test-time scaling（TTS）通过在推理阶段分配额外计算资源来提升 LLM 性能，已成为推理增强的核心范式。现有策略包括：

共同特征：所有策略均基于人类对"推理过程应该如何组织"的直觉设计。

1.2 手工设计的局限

2. AutoTTS 框架

2.1 范式转变

AutoTTS 的核心设计哲学：

传统范式: 人类设计策略 → LLM 执行 → 评估 → 人工调参 → 重复
AutoTTS:   人类设计环境 → AI 搜索策略 → 自动评估 → 发现最优策略

关键转变：人类从"设计具体策略"退到"设计搜索环境"，将策略发现交给 AI。

2.2 环境构造原则

有效的发现环境必须满足：

2.3 Width-Depth 控制器合成

AutoTTS 将 TTS 形式化为离散事件系统上的控制器合成问题：

状态空间：预收集的推理轨迹（无需实时 LLM 调用）
评估成本：在轨迹上模拟控制器执行，接近于零

2.4 Beta 参数化

为控制搜索空间的组合爆炸，引入 beta 分布参数化：

其中 \(\alpha, \beta\) 控制策略的"冒险程度"和"保守程度"，将连续策略空间压缩到低维参数空间。

2.5 细粒度执行跟踪反馈

策略搜索中的失败诊断：

策略尝试 → 模拟执行 → 失败/次优 → 执行跟踪
                              ↓
                    "在第 t 步的 Branch 动作导致正确答案被排除"
                              ↓
                         AI 调整策略参数

诊断式反馈：不仅告知策略"好不好"，还告知"哪里错了"，大幅提升搜索效率。

3. 实验结果

3.1 准确率-成本 Pareto 前沿

关键结果：AutoTTS 发现的策略在 Pareto 前沿上支配手工设计的策略——相同准确率下成本更低，或相同成本下准确率更高。

3.2 泛化验证

3.3 发现效率

效率提升：约 100 倍的成本降低，同时获得更优的策略。

4. 理论分析

4.1 策略空间的结构

TTS 策略空间具有以下结构特征：

4.2 环境设计的等价性

AutoTTS 的发现环境可以看作是对真实 LLM 推理过程的抽象模拟：

关键假设：模拟环境保留了真实推理的足够结构，使得在模拟中发现的最优策略在真实环境中仍然有效。

5. 与相关工作的联系

5.1 与 DAST（Round 7）

DAST 提出了难度自适应的 test-time compute 分配。AutoTTS 可以自动发现更精细的难度-策略映射，而非人工设计的二分类。

5.2 与 Coupling Tax（Round 16）

Coupling Tax 揭示了推理链与答案的预算竞争。AutoTTS 发现的策略可能自动包含预算分离的变体，且比例是任务自适应的。

5.3 与 Tracing Uncertainty（Round 17）

Round 17 的不确定性轮廓可用于早期错误检测。AutoTTS 的控制器可以整合不确定性信号作为 Probe 动作的触发条件。

5.4 与 Prune-OPD（Round 18）

Prune-OPD 在蒸馏训练中动态截断。AutoTTS 的 Prune 动作可以整合类似的漂移检测逻辑。

5.5 与 Rubric-Grounded RL（Round 19）

Rubric-Grounded RL 提供了多维奖励信号。AutoTTS 的评估环境可以整合多维度奖励，使发现的策略同时优化多个目标。

6. 局限性与未来方向

6.1 环境抽象 fidelity

预收集轨迹是否充分保留了真实推理的动态？探索：

• 更精细的轨迹模拟（包含模型内部状态）
• 在线环境更新（根据新发现调整模拟）

6.2 控制器表达能力

当前控制器动作集是离散的。探索：

• 连续动作空间（如分配任意比例的 width/depth）
• 层次化控制器（高层策略 + 低层策略）

6.3 在线适应

当前策略是离线的。探索：

• 运行时策略微调（根据实时反馈调整）
• 元学习（学习如何快速适应新任务）

6.4 多智能体 TTS

扩展到多模型协作场景：

• 不同模型扮演不同角色（验证者、探索者、综合者）
• 模型间的通信协议自动发现

7. 结论

AutoTTS 代表了 TTS 策略设计范式的根本性转变：从"人类手工设计"到"AI 自动发现"。其核心贡献在于：

1. 环境驱动设计：人类设计搜索环境而非具体策略
2. 廉价评估：预收集轨迹使策略评估成本接近于零
3. 高效搜索：Beta 参数化和诊断反馈大幅提升搜索效率
4. 优越性能：发现的策略在 Pareto 前沿上支配手工设计
5. 极致效率：$39.9 和 160 分钟的发现成本

在 TTS 策略日益复杂的背景下，AutoTTS 提供了一个可扩展的自动化框架，有望将 TTS 从"手工业"提升为"工业"。

论文详情

#Research #AutoTTS #TestTimeScaling #StrategyDiscovery #AgenticAI #Efficiency #智柴 🔬