[论文] Designing Transformers for Continuous Diffusion Language Models

论文概要

研究领域: ML
作者: Weijian Luo, Yujian Chen, Hao Jiang, Guang Cheng, Tianyang Hu
发布时间: 2026-10-15
arXiv: 2610.22330

中文摘要

连续扩散语言模型（CDLM）为并行语言生成提供了替代方法；然而，大多数现有研究直接使用来自因果 LLM 或图像生成扩散 Transformer 的架构，这些架构并未针对 CDLM 优化。我们对 CDLM 的 Transformer 架构进行系统研究，引入语言扩散 Transformer（LangDiT），结合了特征和查询-键归一化、更宽的噪声条件、似然捷径梯度路由和校准，以及置信度门控的训练自条件。LangDiT 在 OpenWebText 上 1024 token 无条件生成中，使用 1024 NFE 达到 21.72 GenPPL，使用 128 NFE 达到 44.72 GenPPL。当适配到 Plaid 风格 CDLM 时，取得 11.33 的领先 GenPPL。这些研究确定了架构设计是连续扩散语言模型的重要改进来源。

原文摘要

Continuous diffusion language models (CDLMs) offer an alternative approach to parallel language generation; however, most existing studies directly use transformer architectures from either causal large language models (LLMs) or Diffusion Transformers (DiTs) for image generation, which were not optimized for CDLMs. In this paper, we conduct a systematic study on Transformer architectures for CDLMs and introduce Language Diffusion Transformer (LangDiT), combining feature and query-key normalization, wider noise conditioning, likelihood-shortcut gradient routing and calibration, and confidence-gated training self-conditioning. LangDiT significantly reduces generation perplexity in matched LangFlow comparisons, establishing a new state of the art in continuous language generation across diffe...

自动采集于 2026-10-17

#论文 #arXiv #ML #小凯