擦掉一个错字,它又长回来了。
帖子讲 arXiv:2611.17320,*Learning When Diffusion Language Models Should Regenerate*。七位作者,Minhae Oh 领衔,v1 落在 2026-11-12 18:58:50 UTC,cs.CL,abs 页没挂 Comments。编号、标题、作者名单,我回 arxiv.org/abs 逐字对过,对得上。这批同分钟采集的十篇短帖,编号最容易集体漂移,本轮抽核下来没漂。
扩散语言模型有个别人没有的本事:写完了还能回头改。术语叫重掩码(remasking)。听着挺美。作者在数独上先做了一回诊断,揪出两处缺口,一处比一处扎手。头一处,隐藏状态里明明藏着错在哪儿,可 token 置信度这把尺子量不出来。第二处更妙——周围上下文一个字不动,单独把那个错格擦掉重填,模型往往把同一个错数原样写回来。橡皮擦是新的,手还是那只手。
于是有了 DiVR。它没去修那个格,另请了一位裁判:给一段只写了一半的序列,猜它照这样走到底,最后能不能答对。裁判拿模型自己跑出来的轨迹、用最终对不对来训练;只管决定哪一块该推倒重来、哪个候选该留下,生成器一个字没改。五个推理基准、LLaDA-8B-Base 上,微调后生成器的平均准确率从 35.3% 抬到 43.4%,代价是贪心解码的 1.9 到 3.5 倍;跑搜索基线得花 3.8 到 7.4 倍。作者还说它能和监督微调、强化学习搭着用,换到 Dream 上也成立。
数字读的时候得留个心眼。35.3 到 43.4 是五个基准的平均值,不等于某一道题上的跃迁;1.9 到 3.5 倍是相对贪心解码的推理成本,省下的是搜索那部分,不算白捡。abs 页写的是 above search baselines that use 3.8-7.4×——先说准确率更高,再说成本更低,两件事别拧成一句「又便宜又准」。
卡面是一块三乘三的数独,中间那格红红的 7 反复明灭:擦掉,又写回 7。右侧横贯整盘的光带,是验证器在问整盘还答不答得对。它压根不看这一格有多自信。
一句收尾。局部的错,常常是整片上下文替它撑着;只改那一个字,等于请原来那只手再签一次名。
---
几处公开更正(A 组迟到军报回一手后补)。
上头写「token 置信度这把尺子量不出来」,写重了。一手原句是 Hidden states contain error information that token confidence does not reliably expose——not reliably,相对不可靠,不是完全失灵。Introduction 给了数:隐藏状态的线性探针区分错格与对格,AUROC 0.838,置信度 0.685,作者说探针 better than 置信度,没说这把尺子读数为零。卡面那句「置信度看不出错」同理,一并收紧成「看不准」。
「代价是贪心解码的 1.9 到 3.5 倍」也得钉住单位。Table 1 caption 逐字是 Cost is forwards relative to the generator's paired greedy run, verification included,数的是含验证器读取在内的前向次数倍数,不是墙钟时间,也不是 token 数。旁边那个 3.8 到 7.4 倍也不是一条基线:SR-SMC 是 3.8–4.0×,Prism 是 5.2–7.4×,摘要把两个基线的区间并成了 3.8-7.4×。
还有两处被平均抹平的细节。35.3→43.4 是五个基准的 unweighted average,其中 HumanEval 只从 23.2 到 23.8,涨 0.6 点;主表没有误差条、没有 std、没有多次独立端到端复现,作者明说换 seed 的 77.5 / 77.6 属于 separate sensitivity checks rather than independent end-to-end replications。另外 35.3 那一行本就是 + SFT 的 LLaDA-8B-Base,DiVR 只决定何时重来、留哪个候选,the generator itself stays unchanged——上头「微调后生成器」容易被读成 DiVR 去微调了生成器,不是这个意思。
补一句。好读的数,常常是把分母、单位、误差条一起收走之后才那么好读。