NVIDIA Nemotron-Labs-TwoTower:首个开放权重的扩散语言模型,2.42× 吞吐量保住 98.7% AR 质量

事件内容

7 月 1 日,NVIDIA 发布 Nemotron-Labs-TwoTower,一个块级自回归扩散语言模型。模型权重在 NVIDIA Nemotron Open Model License 下开源,直接挂在 HuggingFace nvidia/Nemotron-Labs-TwoTower-30B-A3B-Base-BF16 上。

技术栈细节:

基础架构:基于 Nemotron-3-Nano-30B-A3B(MoE 混合骨干,交错 Mamba-2 / 自注意力 / MoE 层),冻结(frozen)作为 context tower
新增模块:扩散去噪器(denoiser tower),训练用 2.1T tokens(基础模型预训练 25T)
双塔分工:
AR context tower(冻结):对 prompt 和已提交 token 做因果处理,生成每层 KV cache 和 Mamba-2 状态,保留原骨干的自回归能力
扩散去噪塔(训练):对噪声块做精细化处理——块内用双向注意力,块间保持对过去 clean blocks 的因果性
双塔连接:层对齐的 cross-attention——去噪器第 _i_ 层 cross-attend 到 context tower 第 _i_ 层,这种"多尺度访问"比之前的方案(只广播最后一层隐藏状态)更充分
总参数:双塔共 ~60B;每 token 激活 ~3B per tower;MoE 128 routable experts + 6 activated + 2 shared
三层数:每塔 52 层(23 Mamba-2 + 6 自注意力 + 23 MoE)

基准测试结果(γ=0.8, S=16, 2×H100 BF16):

任务	Nemotron-3-Nano-30B-A3B (AR)	TwoTower (diffusion)
MMLU (5-shot)	78.56	78.24
MMLU-Pro (5-shot CoT EM)	62.59	60.93
ARC-Challenge (25-shot)	91.72	92.66
WinoGrande (5-shot)	76.09	76.09
RACE (0-shot)	88.90	88.90
HumanEval (0-shot)	79.27	75.58
MBPP-Sanitized (3-shot)	74.71	74.28
GSM8K (8-shot)	92.49	90.14
MATH-500 (4-shot)	84.40	80.60
MMLU Global Lite	73.97	73.94
MGSM (8-shot avg)	80.80	80.40
质量保留	100%	98.7%
吞吐量	1.0×	2.42×

三种推理模式(一个 checkpoint 同时支持):

generate_mask_diffusion():完整双塔扩散(2 GPU,~59GB/GPU BF16)
generate_mock_ar():mock 自回归
generate_ar():纯自回归(单 80GB GPU)

调优 knob:confidence threshold γ——降低 γ 一次提交更多 token,提升吞吐量但降低质量;论文显示在 γ=0.8 这个默认工作点达到 1.3% 质量损失换 2.42× 速度的甜点。

深度剖析

TwoTower 这件事在 2026 年的 AI 模型格局里有三个独立维度值得拆开看:

第一层:扩散语言模型从"概念"走到"工程开源"。 扩散语言模型(Diffusion LLM)不是新概念,Google Gemini Diffusion、Inception AI 的 Mercury、Meta 的 LLaDA 都做过尝试。但之前所有方案都是闭源或学术 demo,没有一个把训练好的模型权重开放出来给工业界直接用。NVIDIA TwoTower 是第一个开放权重的工业级扩散语言模型——这件事本身的意义大于它的具体性能。

第二层:"冻结 AR backbone + 训练扩散去噪器"是工程上极聪明的解法。 之前的扩散 LLM 都需要完全重新预训练——成本是 LLM 整体训练预算的几分之一,没有任何团队愿意为"赌一个可能失败的新范式"付出这个代价。TwoTower 把 25T tokens 预训练的 AR backbone 完整冻结,只训练 2.1T tokens 的去噪器,训练成本是完整预训练的 8.4%(2.1T / 25T)。这种"复用已有重资产,只付轻量改造成本"的策略,直接打开了一个新的实验范式——任何已有 AR 模型都可以低成本地"挂"一个扩散去噪器上去。

第三层:1.3% 质量损失换 2.42× 吞吐量,这个 trade-off 在哪个场景有商业价值? 直接答案是批量合成数据(synthetic data)——任何需要大规模生成训练语料的场景(RLHF 数据、Agent 轨迹合成、文档摘要蒸馏),都可以用 TwoTower 模式跑。间接答案是吞吐量优先的 API 服务——对延迟不敏感但要省 GPU 小时的场景(夜间批量任务、离线 embedding),扩散模式有真实价值。但对延迟敏感的交互场景(实时 chat、coding agent)仍然是 AR 模式的天下——2.42× 吞吐量的优势在实时场景里被"用户等待时间"主导,无法变现。

对 AI coding 工具的具体影响:合成训练数据是 AI coding 模型迭代的核心成本。TwoTower 的扩散模式如果稳定,可以用 1/2.42 的 GPU 小时产出同等质量的训练数据,这等于把 AI coding 模型的训练成本砍掉近 60%。对 OpenAI、Anthropic、Google 这类有内部 RLHF 数据生产管道的公司,这是直接的成本优势;对做开源 coding 模型的中国团队(智谱 GLM-Coder、阿里 Qwen-Coder、深度求索 DeepSeek-Coder),这给了一个低成本的训练数据扩充路径。

对 NVIDIA 自身的战略意义:Nemotron 系列是 NVIDIA 在自家硬件上跑自家模型的展示窗口。TwoTower 在 2×H100 上跑 BF16,这是 NVIDIA 在向客户证明"H100 集群是扩散 LLM 训练+推理的最佳平台"。考虑到 AMD MI300、Intel Gaudi、Cerebras CS-3、特斯拉 Dojo 都在抢推理市场,NVIDIA 必须用 Nemotron 这种开放权重 + 自家硬件优化紧密绑定的策略来维护护城河。

值得关注的原因

AI 基础设施团队:立刻评估 TwoTower 在批量数据合成、离线 embedding、nightly batch 等场景的部署成本,如果 2.42× 吞吐量真实,GPU 小时账单可能降 50% 以上
AI 训练数据团队:扩散 LLM 可能改变 synthetic data 的生产经济性——传统 AR 模型要 100 GPU 天生成的数据集,TwoTower 可能 42 GPU 天就够了
模型架构研究者:冻结 AR backbone + 训练去噪器是一个可复用的工程模板,理论上可以把 GPT-4、Claude、Gemini 的预训练模型"低成本扩散化"
NVIDIA 客户:TwoTower 是 H100/H200 集群的 reference workload,跑它能验证集群的 NVLink、显存带宽、BF16 数值稳定性
竞争模型公司:Google Gemini Diffusion、Inception Mercury、Meta LLaDA 都是闭源或半开源,NVIDIA 这次直接开源权重,给整个扩散 LLM 赛道画了一条开放基线

风险与待观察

代码和数学任务质量下降明显:HumanEval 79.27 → 75.58(-3.69),MATH-500 84.40 → 80.60(-3.80),GSM8K 92.49 → 90.14(-2.35)。对 AI coding 场景来说,代码质量下降 3.7 个点是真实损耗——你用 TwoTower 训出来的数据如果带这个损耗,会污染下游模型
完整扩散需要 2 张 GPU(~59GB/GPU BF16),对单卡部署不友好;mock-AR 和 AR 模式虽然能单卡跑,但那时候就不是扩散了
基础模型没做指令微调和对齐:发布的是 base 模型,不是 instruct 模型,直接用会有"答非所问"问题
吞吐量超过 3× 时质量损失急剧上升:论文提到"throughput past 3× comes with larger quality loss",所以 2.42× 是甜点不是上限,真实工业场景能不能推到 3× 还未知
开放权重的商业限制:NVIDIA Nemotron Open Model License 是 NVIDIA 自定义许可证,不是 Apache 2.0 也不是 MIT——商业用途的合规细节需要法务逐条过
arXiv 论文 ID 异常:MarkTechPost 引用的是 arxiv 2606.26493,这是 2026 年 6 月的预印本——比常规的 2606.xxxx 编号更靠后,可能存在编号/引用错误,需要原论文验证

参考来源

MarkTechPost 详细技术解读:https://www.marktechpost.com/2026/07/01/nvidia-releases-nemotron-labs-twotower/
HuggingFace 模型集合:https://huggingface.co/collections/nvidia/nemotron-labs-twotower
arXiv 论文:https://arxiv.org/pdf/2606.26493
备份参考(awesomeagents 解读):https://awesomeagents.ai/news/cloudflare-pay-per-crawl-ai-content/(同源 cloudflare 文章对比可看出 NVIDIA 在 AI 基础设施上的一致策略)