[论文] Improving Test-Time Scaling with Adaptive Looped Transformers

研究领域: NLP 作者: Yichen You, Tianyu Fu, Aosong Feng, Xingtai Lv, Xuefei Ning, Ning Ding, Yu Wang 发布时间: 2026-09-28 arXiv: 2609.35748

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: NLP 作者: Yichen You, Tianyu Fu, Aosong Feng, Xingtai Lv, Xuefei Ning, Ning Ding, Yu Wang 发布时间: 2026-09-28 arXiv: 2609.35748

中文摘要

循环 Transformer 通过复用层进行潜在计算,展示了有前景的参数效率。先前研究在匹配参数或每 token FLOPs 下比较循环和非循环模型。然而,据我们所知,随着输出变长,循环是否改善测试时缩放仍有待探索。通过对循环 Transformer 进行后训练,我们研究了准确率-计算斜率,即测试时解码 FLOPs 每翻倍的准确率增益。我们发现现有循环 Transformer 通常比非循环基线产生更陡的斜率,但在匹配计算下表现更差。固定深度循环在每个 token 上花费额外迭代,但我们的分析表明许多 token 并不从额外迭代中受益。因此我们提出 TaH2,使模型能将额外迭代集中在受益于循环的 token 上。它通过前瞻深度监督联合后训练骨干网络和迭代决策者,使用在线标签指示进一步迭代是否改善预测。TaH2 改善了测试时缩放的效率和可达准确率。在 AIME 基准上,TaH2 将准确率-计算斜率比非循环基线提高 53%(2.74 vs. 1.79),在匹配测试时计算下超过基线峰值准确率约 3.4 分。随着最大迭代深度增加,现有循环模型基本趋于平稳,而 TaH2 相对于基线的增益从深度 2 的 +2.8 分持续增长到深度 8 的 +3.9 分。

原文摘要

Looped transformers have demonstrated promising parameter efficiency by reusing layers for latent computation. Prior studies compare looped and non-looped models at matched parameters or per-token FLOPs. However, to the best of our knowledge, whether looping improves test-time scaling as outputs grow longer remains underexplored. Through post-training looped transformers, we study the accuracy-compute slope, measured as the accuracy gain per doubling of test-time decoding FLOPs. We find that existing looped transformers often yield steeper slopes than their non-looped baseline, yet underperform it at matched compute. While fixed-depth looping spends extra iterations on every token, our analysis shows that many tokens do not benefit from extra iterations. We therefore propose TaH2, which en...


*自动采集于 2026-09-30*

#论文 #arXiv #NLP #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

题目问的是循环 Transformer 的测试时缩放,答案落在一句话上:草稿纸该按题分配。

按题下菜:预算给难题

一、斜率这把尺怎么读

论文把「准确率-计算斜率」定义为:解码 FLOPs 每翻倍,准确率涨几分,做法是对 log2(每回复 FLOPs) 做线性拟合。2.74 对 1.79 那个 53%,是两点相除的导出值,并非拟合报告数——引用时说「约五成」更稳。题板是 AIME 24–26 三年、avg@32、zero-shot CoT、预算 4K–16K;同一个 Qwen3-1.7B checkpoint 后训练,比的是循环结构本身。其他循环模型的斜率:Ouro 2.12–2.27,Huginn 2.26——斜率更陡这条,循环阵营其实早就有了。

二、+3.4 分要连着账单读

预算拉到 32K,Standard 在 12.0% 处饱和,每回复烧 191.7 TFLOPs;同算力下 TaH2 走到 15.4%。所谓「超基线峰值 3.4 分」,实情是对手先撞墙。成本也有数:M=8 时每 token 解码 FLOPs 是 2.37 倍,延迟 1.34 倍(bs=1)。提升是买来的,账单开在延迟里。

三、两套增益口径,别串

+2.8 → +3.9 是 AIME 口径;Table 1 十个基准的平均是 +2.9 → +4.8。引哪个表用哪个数。

四、承重的是那个学出来的决策者

消融三连:决策者权重改成均匀,掉 3.6 分;updater 换成非学习版,掉 2.1;标签错配,掉 1.1。最贵的部件正是「学会按题分配」这件事本身——它和「很多 token 并不吃额外迭代」的观察是同一枚硬币的两面。

五、边界与存货

只验证了 SFT,RL 和 on-policy distillation 留白;没跟 o1 式长 CoT、树搜索交过手;训练 FLOPs 高于标准 SFT。存货还有一条:cons@32 29.3% 对 Standard 21.9%——多采样这条路还活着,TaH2 是同算力下的另一条岔路。附加模块不到 3% 参数,训练 3.4B tokens、273K prompts,代码挂在 thu-nics/TaH。

下一根钉子

决策者会不会被题目难度分布带偏。训练集里难题占多少,部署时就该占多少——分布一换,决策者若失灵,「按题下菜」就退化成「按记忆下菜」。换个分布复测一遍,是这篇最便宜的后续。

暂无表态

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens