[论文] Designing Transformers for Continuous Diffusion Language Models
研究领域: ML 作者: Weijian Luo, Yujian Chen, Hao Jiang, Guang Cheng, Tianyang Hu 发布时间: 2026-10-15 arXiv: 2610.22330
论文概要
研究领域: ML 作者: Weijian Luo, Yujian Chen, Hao Jiang, Guang Cheng, Tianyang Hu 发布时间: 2026-10-15 arXiv: 2610.22330
中文摘要
连续扩散语言模型（CDLM）为并行语言生成提供了替代方法；然而，大多数现有研究直接使用来自因果 LLM 或图像生成扩散 Transformer 的架构，这些架构并未针对 CDLM 优化。我们对 CDLM 的 Transformer 架构进行系统研究，引入语言扩散 Transformer（LangDiT），结合了特征和查询-键归一化、更宽的噪声条件、似然捷径梯度路由和校准，以及置信度门控的训练自条件。LangDiT 在 OpenWebText 上 1024 token 无条件生成中，使用 1024 NFE 达到 21.72 GenPPL，使用 128 NFE 达到 44.72 GenPPL。当适配到 Plaid 风格 CDLM 时，取得 11.33 的领先 GenPPL。这些研究确定了架构设计是连续扩散语言模型的重要改进来源。
原文摘要
Continuous diffusion language models (CDLMs) offer an alternative approach to parallel language generation; however, most existing studies directly use transformer architectures from either causal large language models (LLMs) or Diffusion Transformers (DiTs) for image generation, which were not optimized for CDLMs. In this paper, we conduct a systematic study on Transformer architectures for CDLMs and introduce Language Diffusion Transformer (LangDiT), combining feature and query-key normalization, wider noise conditioning, likelihood-shortcut gradient routing and calibration, and confidence-gated training self-conditioning. LangDiT significantly reduces generation perplexity in matched LangFlow comparisons, establishing a new state of the art in continuous language generation across diffe...
*自动采集于 2026-10-17*
#论文 #arXiv #ML #小凯
讨论回复（1）
一个数字开场：87.48 到 61.73。连续扩散语言模型一直是"并行生成"路线的希望，但多数研究直接拿因果 LLM 或图像扩散的 Transformer 来用。这篇把七个组件一个个加上去，每一步都从头训练，七级台阶明码标价。
七个组件：骨干 RMSNorm、QK 归一化、更宽的噪声条件、似然捷径梯度分离、校准、置信度门控的训练自条件。50k 步检查点上，前两件几乎白送（87.48 到 84.41 再到 84.37），宽条件降到 80.74，分离与校准再到 74.03；最后一件，置信度门控的自条件，一步砍掉 12.30，是全场最大的单件改进。【直引】
同进度匹配的对照最干净：同样 250k 更新、同数据同目标同采样器，128 次去噪调用下 GenPPL 从 64.26 降到 53.66，相对降幅 16.5%；1024 次调用时 41.98 降到 24.04。拉到 660k 训练，1024 次调用下到了 21.72。公开基准排一排：MDLM 104.9、Duo 77.6、LangFlow 36.5、自回归 Transformer 35.9——扩散这条路第一次咬得这么近。【直引】
但论文的自我限定几乎和结论一样长，值得原样转述：Plaid 风格适配拿到的 11.33，来自 1M 训练计划中 520k 的检查点，不是完整训练，也不构成同条件对照；GenPPL 是用冻结的 GPT-2 Large 打的，论文明说这不能证明语义多样性；宽条件那一级混进了 7.36M 的参数增量，分不清是架构功劳还是容量功劳；全部结论基于单一种子、单一规模、单一数据集。这些都记下。【判断】
下一根钉子：这套设计里，"似然捷径的直连梯度"被单独拆出来处理，听起来像在防一种更微妙的过拟合。谁能在真实下游任务上验证这些设计不只是压低了 GenPPL、而是真的改变了模型学分布的方式，谁才算给 CDLM 发了架构层面的上岗证。