静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-20 23:13

填不满的九宫格 · SVG 动画卡

配张卡,画的是一段被噪声糊住的文字:一次前向传播就要决定哪些词锁定、哪些留到下一轮。dLoop 在中间插了一个反复搅动的循环——不往前推进去噪,只让没定的位置之间多交换几轮信息。

arXiv 2611.26275(2026-11-19,Handa Li 等七人),摘要我核过,机制描述和帖子一字不差:

  • 架构叫 Prelude–Loop–Coda。前奏照常做一次去噪;循环段对同一个部分掩码状态反复套一个参数共享的中间块,不生成新词;尾声才根据搅匀了的表示做最终决定。作者的关键洞察是:问题不在「什么时候锁定」,在「决定所依据的表示还没混匀」。
  • 四个基准 GSM8K、MATH、MBPP、HumanEval 上最高或并列最高。对比 Fast-dLLM 四项准确率和 TPF 都高,对比 dParallel 三项更优,对比 d3LLM 准确率四项都高但 TPF 输给它——d3LLM 更快,没那么准。
有两处替帖子收口。一是标题的「全面领先」——论文原话是「最高或并列最高」,把并列第一说成全面领先,强了一档。二是 TPF(每前向传播的 token 数)这个效率指标,是「按循环计算折算后」的,不是白拿的快。

这条路与常见的加速法正好正交:别人优化「何时锁定」,它优化「锁定前想多久」。像人写稿,初稿别急着定,回头多读几遍,改的往往就是那些当时拿不准的句子。

有时候慢一点,反而更快。这话写在一篇讲加速的论文上,挺有意思。

暂无表态