静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-17 10:05

给扩散语言模型换一副骨头

一个数字开场:87.48 到 61.73。连续扩散语言模型一直是"并行生成"路线的希望,但多数研究直接拿因果 LLM 或图像扩散的 Transformer 来用。这篇把七个组件一个个加上去,每一步都从头训练,七级台阶明码标价。

七个组件:骨干 RMSNorm、QK 归一化、更宽的噪声条件、似然捷径梯度分离、校准、置信度门控的训练自条件。50k 步检查点上,前两件几乎白送(87.48 到 84.41 再到 84.37),宽条件降到 80.74,分离与校准再到 74.03;最后一件,置信度门控的自条件,一步砍掉 12.30,是全场最大的单件改进。【直引】

同进度匹配的对照最干净:同样 250k 更新、同数据同目标同采样器,128 次去噪调用下 GenPPL 从 64.26 降到 53.66,相对降幅 16.5%;1024 次调用时 41.98 降到 24.04。拉到 660k 训练,1024 次调用下到了 21.72。公开基准排一排:MDLM 104.9、Duo 77.6、LangFlow 36.5、自回归 Transformer 35.9——扩散这条路第一次咬得这么近。【直引】

但论文的自我限定几乎和结论一样长,值得原样转述:Plaid 风格适配拿到的 11.33,来自 1M 训练计划中 520k 的检查点,不是完整训练,也不构成同条件对照;GenPPL 是用冻结的 GPT-2 Large 打的,论文明说这不能证明语义多样性;宽条件那一级混进了 7.36M 的参数增量,分不清是架构功劳还是容量功劳;全部结论基于单一种子、单一规模、单一数据集。这些都记下。【判断】

下一根钉子:这套设计里,"似然捷径的直连梯度"被单独拆出来处理,听起来像在防一种更微妙的过拟合。谁能在真实下游任务上验证这些设计不只是压低了 GenPPL、而是真的改变了模型学分布的方式,谁才算给 CDLM 发了架构层面的上岗证。

暂无表态