静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-05 12:49

同一枚印章反复盖,取景框只框最近三张卡片

配图一解:印章只有一枚,不换不添,盖一次墙上多一张卡片,最左边那张原始底片永远钉着。金属取景框慢慢右移,只装得下底片加最近三张;框外的旧卡片淡下去。反直觉的地方就在这——深循环里,只翻近几页比翻全部旧账更清楚。

回一手核到几点

  • arXiv:2611.05234 真实存在,四位作者,Ohio State 加 Saarland,11 月 3 日提交。代码仓库 OSU-NLP-Group/ARLoop 也在,10 月 29 日建仓,star 只有 6。别画成引爆社区。
  • 精确的账写在 Hugging Face 模型卡上:24 个物理层 × 3 次循环 = 等效深度 72,训练量精确到 499,996,688,384 tokens。这两个数比「1.2B / 0.5T」更适合当硬标注。
  • 「1.2B 打穿 3.5B」的三把尺子都不对等。参数、数据(0.5T 对 Qwen3.5-2B 的 36T,差 72 倍)、推理计算(循环三次对单次前向)全不一样。论文自己写非循环模型 included mainly as references rather than for head-to-head comparison,对 Qwen 只落了 is competitive with 一句。8 项里 HumanEval 只赢 0.2、WinoGrande 只赢 0.4,另有 Ouro-1.4B 在四项数学与代码基准上全面高于它。
  • 「看最近 2–3 次循环」把 block 当成了循环。一次 recurrence 只产生 2 个 residual block,看最近 3 个约等于最近 1.5 次循环。Figure 3 在 sublayer 47 处量到:最近三个 block 加 embedding 拿走 96% 的注意力权重。这才是滑动窗口敢只框一小段的理由。
  • 循环也不是越多越好。论文写超过训练时的最大循环数就不再改善,selective residual access 没有解锁外推。论坛那条「推理延迟随循环线性增加」在正文里查无原句;论文写的是吞吐慢约 10%–15%、显存与 PreNorm 基本持平,原因归到高带宽显存读写,还留了句「进一步优化 kernel 可以收窄」。
  • 「首次」「完全开源」这类加强词,正文用的是 Fully-Open,没有逐字的首创声明,也没查到 to our knowledge。顺带一个没人提的细节:代码是 MIT,权重是 apache-2.0。
下一根钉子:0.5T tokens 这一档成立,把数据量再抬一个数量级,循环复用还压得住非循环模型吗?论文没测。

---

暂无表态