LoopUS：把预训练LLM"改装"成循环推理机——不从头训练，只让中间层反复思考

——釜山国立大学的后训练框架，用余弦距离拆分层级、Mamba式门控防漂移、随机深度监督省17倍token

一、引子：循环推理的诱惑与陷阱

测试时计算（Test-Time Compute, TTC）是个诱人的方向：让模型在推理时"多想一想"，而不是一味堆参数。

但现有循环方案有两大痛点：

🪓 从头训练循环模型：太烧钱，预训练的知识全浪费；
🪓 破坏性改造 pretrained LLM：加循环层、改注意力结构，预训练能力可能崩掉。

有没有一种办法——保留 pretrained 权重，只让中间层反复用，还不崩？

釜山国立大学的团队提出了 LoopUS（Looped Depth Up-Scaling）。

二、核心洞察：层的"性格"不一样，别一刀切

论文先做了一个简单观察（Figure 1）：在Qwen3-1.7B里，逐层计算相邻隐藏状态的余弦距离，发现三种截然不同的"性格"：

• 早期层（0-1）：距离大，快速转换token嵌入；
• 中间层（2-26）：距离小，在稳定高原里缓慢演化；
• 最终层（27）：距离再次跳变，急剧转向输出词汇空间。

这给了分解的依据：中间层天生适合"反复琢磨"，因为它们已经在做渐进的推理；首尾层则各安其位——编码器负责"进入状态"，解码器负责"输出答案"。

分解策略（基于Mi:DM的余弦距离分析）：

三、四大组件：不崩、不烧、不等

3.1 选择性门控（Selective Gate）：防漂移的Mamba式阻尼

循环最大的敌人是隐状态漂移——预训练中间层本来为单遍执行优化，反复喂同一块会失控。

LoopUS的门控借鉴了Mamba的选择性衰减：

残差变化: δ^(b) = M(h^(b)) - h^(b)
步长: Δ^(b) = softplus(W_Δ · δ^(b) + b_Δ)
衰减系数: A ∈ R^<0（学习得到，通道级）
衰减因子: α^(b) = exp(Δ^(b) ⊙ A) ∈ (0,1)
门控更新: h^(b+1) = α^(b) ⊙ M(h^(b)) + (1-α^(b)) ⊙ h^(b)

本质：凸插值。每一步不是完全接受推理块的新提议，而是按输入依赖的比例"混一点旧、加一点新"。就像阻尼振动——每次迭代被前一次状态"拉住"，不会飞出去。

3.2 随机深度监督（Random Deep Supervision）：省17倍token的秘诀

如果循环B=20步，完整BPTT反向传播会爆显存且梯度不稳定。LoopUS的解法是：

• 前向展开20步；
• 每批均匀采样K=5步计算梯度；
• 其余15步用no_grad执行， detached 后传递给下一步。

效果：梯度只走5步深度的图，而不是20步。内存省、训练稳。

对比基线：McLeish et al. (2025) 需要52B token，Bae et al. (2025) 需要60B token。LoopUS只用3B token——17-20倍更少。

3.3 置信度头（Confidence Head）：难的多想，容易的少想

推理时加了一个轻量头，预测当前隐状态是否"已经足够好"：

q̃^(b) = q_φ(h^(b)), q^(b) = σ(q̃^(b))
如果 q^(b) ≥ 0.6: 停止循环
如果 q^(b) < 0.6: 继续迭代（最多8步）

Qwen3-4B上的平均停止步数：3.39步（最大8步）。难的题多迭代，容易的题少迭代——算力按需分配。

3.4 单调性损失（Monotonicity Loss）：不让模型越改越差

L_mono^(b) = SiLU(L_LM^(b) - L_LM^(b-1))

如果第b步的next-token loss比第b-1步更差，SiLU输出正值， penalize。反之，改进或小损失 → 负值或零，不 penalize。

这确保每一步都是矫正性的（corrective），不是破坏性的。

四、训练设置：3B token，bf16，AdamW

硬件：L40S / RTX PRO 6000 / H200，视模型大小而定。

五、实验结果：从1.7B到14B，一致提分

5.1 Backbone评估（Table 1）

Qwen3-1.7B：

Qwen3-4B：AVG acc 60.3 → 62.1（+1.8），WikiText ppl -15.2%，LAMBADA ppl -26.9%

Qwen3-8B：AVG acc 63.2 → 65.4（+2.2），WikiText ppl -15.6%

Phi-4 14B：AVG acc 67.0 → 68.6（+1.7），WikiText ppl -19.2%

规律：模型越大，绝对提升越明显；但相对提升（ perplexity 降幅）在小模型上更夸张（1.7B的LAMBADA -39%）。

5.2 与现有循环方法对比（TinyLlama 1.1B，Table 2）

LoopUS用17-20倍更少token，达到比McLeish和Bae更好的绝对效果。这是后训练效率的胜利。

5.3 循环动力学：收敛，不是发散

"32 * 64 =" 的token级演化（Figure 8）：

Figure 7显示隐状态轨迹：前几次迭代位移最大，之后逐渐收缩——不是越跑越偏，而是收敛到固定点。

这说明LoopUS的循环是受控精炼，不是失控深度扩展。

六、消融：每个组件都必要

所有组件都是必要的，不是装饰。

七、KV缓存加速：循环也有工程优势

LoopUS为每个迭代深度维护独立KV缓存。生成1024 token时（B=8）：

因为编码器只执行一次，推理块循环复用，解码器也只执行一次。缓存结构分离后，避免了重复计算。

八、局限与延伸

局限：

1. 当前只在自回归transformer上验证，扩散LLM的适配待探索；
2. 循环深度B=20在训练时固定，推理时最多8步，更深循环的稳定性未充分验证；
3. 置信度头的阈值（0.6）是启发式，任务自适应阈值未研究。

未来方向：

1. 扩散LLM：LoopUS的门控和单调性损失天然适合连续去噪轨迹，可引入自适应停止；
2. 预训练原生架构：在预训练阶段就引入循环结构，让模型从小学习"何时停止思考"；
3. 更深循环：B=100甚至更深，验证收敛极限。

九、结论：pretrained depth = adaptive test-time compute

LoopUS的核心主张很简洁：

预训练transformer的深度，可以被重新解读为"测试时计算的预算"——你只需要一个后训练框架来解锁它。

它不需要新架构、不需要从头训练、不需要加长生成轨迹。它只做了四件事：

• 按余弦距离拆出中间层；
• 用Mamba式门控拉住隐状态；
• 随机采样省掉17倍训练token；
• 置信度头决定何时停止。

这四件事把一个标准LLM变成了循环推理机——难的多想，容易的少想，所有计算都在隐空间完成，不输出中间步骤。

如果Sleep-time Compute和Latent Reasoning是2025-2026年的大方向，LoopUS提供了一条最小侵入性的实现路径：不动骨架，只改用法。🔧

参考与数据来源：

• Park, T., Lee, Y., Kim, D., & Bae, H., "LoopUS: Recasting Pretrained LLMs into Looped Latent Refinement Models", arXiv:2605.11011, 2026
• 机构：Pusan National University, Changwon National University
• 评估模型：Qwen3-1.7B/4B/8B, Phi-4, TinyLlama
• 训练数据：FineWeb-Edu + CC-MAIN-2025-26（3B token）
• 基线：McLeish et al. (2025), Bae et al. (2025)
• 项目页：https://thrillcrazyer.github.io/LoopUS

#LoopUS #循环推理 #测试时计算 #后训练 #Mamba门控 #随机深度监督 #自适应推理 #小凯深度研究 #论文解读