240万块芯片只跑出了40%的力气：Decoupled DiLoCo 如何治好分布式训练的"同步癌"

> 作者：小凯 | 来源：arXiv:2604.21428v1 [cs.CL] | 机构：Google DeepMind + Google Research

---

一、一个触目惊心的数字

假设你花了几百亿建了一个超级计算集群，塞进了 240 万块 AI 芯片。你按下训练按钮，理论上这些芯片应该全速运转，夜以继日地把你的大模型从胎教水平拉到博士水平。

结果监控面板上的数字告诉你：有效计算时间，40%。

其余 60% 的时间，这些价值连城的芯片要么在等故障排查，要么在等慢速节点追上来，要么在等网络同步——就像一辆由 240 万个气缸组成的发动机，60% 的气缸在空转。

这个数字来自 Google DeepMind 和 Google Research 的最新论文 Decoupled DiLoCo。作者们的核心问题不是"怎么让模型更好"，而是 "怎么让已经花出去的钱不浪费"。

Jeff Dean 的团队做这种事一向很在点子上。

---

二、同步是原罪

要理解 40% 的悲剧，得先理解现代分布式训练的根本范式：SPMD（Single Program, Multiple Data）。

SPMD 的思路很简单：同一份模型代码，复制到几千台机器上，每台处理不同的数据切片。每隔一步，所有机器必须停下来，把各自的梯度汇总求平均，然后继续。

这就像一个由 1000 人组成的接力赛，规则是：所有人必须同时跑到接力点，才能传递接力棒。 只要有一个人鞋带松了、腿抽筋了、或者干脆摔倒了，另外 999 个人就得原地站着等。

论文把这个困境类比为分布式系统的 CAP 定理：

C（Consistency，一致性）：每台机器看到的模型参数完全一致
A（Availability，可用性）：即使有故障，训练也能继续
P（Partition Tolerance，分区容错）：网络抖动也能扛住

SPMD 选择了 C，牺牲了 A 和 P。它要求每一步都全局同步，所以一台机器的故障或延迟会瞬间扩散到整个集群。

这里有个反直觉的点：芯片越多，问题越严重。 不是"人多力量大"，而是"人多拖累大"。论文给出了一个简洁的公式：

集群平均故障间隔时间 = 单芯片平均故障间隔时间 / 芯片总数

如果一块芯片平均一年坏一次，240 万块芯片组成的大集群，平均每 3.6 小时 就会遇到一次芯片级故障。加上网络抖动、机柜过热、电力波动、固件升级——240 万颗心脏同时跳，总有几个会心律不齐。

传统的"弹性伸缩"解法（Elasticity）是在故障发生后，把坏掉的芯片所在 slice 踢出集群，用剩下的芯片继续。但踢人这个动作本身需要时间：检测故障、重新划分数据、重新编译计算图、重新同步。论文说这期间的全局停机时间仍然不可忽略。

---

三、DiLoCo：先砍掉 99% 的通信

在讲 Decoupled DiLoCo 之前，得先理解它的前身 DiLoCo（Douillard et al., 2024）。

DiLoCo 的核心洞察是：我们真的需要每一步都同步吗？

传统数据并行每步都同步梯度，带宽压力大到令人窒息。DiLoCo 说：不如每台机器各自用 AdamW 跑 H 步（比如 100 步），然后才把最终权重差异传给中央服务器做一次"外循环优化"。

这相当于接力赛规则改成：每人跑 100 米，然后再集合换棒。 通信频率降低了 H 倍。

更进一步的 Streaming DiLoCo 把模型切成 P 个片段（fragments），在不同时间片错峰同步不同片段，把峰值带宽也压下来。

但 DiLoCo 和 Streaming DiLoCo 都有一个致命弱点：它们仍然是同步的。 虽然通信少了，但每次同步时，所有学习者必须齐步走。那个摔倒的队友依然在拖累全队。

---

四、Decoupled DiLoCo：彻底松绑

Decoupled DiLoCo 的解决方案可以用一句话概括：让每台机器跑自己的步数，中央服务器只收"到了就处理，没到不等"，然后把更新异步广播回去。

4.1 学习者：完全独立

每个学习者（Learner）是一个完全独立的训练进程，跑在自己的数据切片上，用 AdamW 做内循环优化。它不需要知道其他学习者的存在。

但这里有个微妙的平衡问题：如果学习者完全不理中央服务器，它们会越跑越远，最终变成 M 个互不相关的模型。所以学习者一边跑，一边在后台向中央同步器（Syncer）发送两样东西：

当前模型片段的权重
元数据：自上次收到更新以来跑了多少步、处理了多少 token

收到同步器的更新时，学习者直接用新片段覆盖本地对应片段，然后继续跑，不停机。

4.2 同步器：不等人的聚合中心

同步器是架构的灵魂。传统参数服务器必须等所有学习者到齐才能聚合。同步器说：我只等 K 个（K ≤ M），到了就开工，没到就跳过。

这 K 就是最小法定人数（Minimum Quorum）。如果集群有 16 个学习者，法定人数设为 12，那么即使有 4 个学习者掉线或变慢，同步器照样推进，全局训练零停顿。

但这里有个公平问题：快的学习者跑了 100 步，慢的学习者只跑了 50 步，如果权重平均，快的学习者会被"稀释"。同步器的解决方案是token-步数加权（token × 步数比率）：

权重 = 处理的 token 数量 × (处理的 token / 本地步数)

这意味着：跑得快且数据质量高的学习者，贡献更大；跑得慢的学习者，虽然也能参与，但权重自动降低。

4.3 自适应宽限期：用闲置时间换质量

法定人数机制保证可用性，但法定人数本身可能导致样本效率损失——如果 K=12，每次都只有 12 个学习者参与，4 个学习者的数据被浪费了。

同步器引入了一个自适应宽限期（Adaptive Grace Window）：达到法定人数后，不立即聚合，而是等一小段时间（利用通信-计算重叠的自然 slack），看看还有没有慢吞吞的学习者能赶上。

这个宽限期有上界（不超过可用 slack 的 γ 比例），所以不会 stall 系统。但它能吸纳更多学习者参与聚合，减少外循环梯度的方差，本质上是用闲置带宽换样本效率。

论文给出的关键配置：H=P（片段数等于同步间隔），τ=2（双缓冲），这意味着每一步都有一片 slack 可以用来做宽限期等待。

---

五、混沌工程：故意搞破坏来证明 robust

论文最让我印象深刻的实验设计，是引入了混沌工程（Chaos Engineering）。

混沌工程起源于 Netflix 的基础设施测试：不是等故障发生，而是主动注入故障，验证系统是否真的 resilient。

论文把 LLM 训练中的硬件故障抽象为五个参数： 1. 单芯片平均故障间隔时间（MTBIchip）：设为 1 年 2. 模拟芯片总数（Nchip）：从 1 万到 240 万 3. 芯片速度差异：模拟不同代际、不同厂商的芯片混跑 4. 弹性缩容/扩容时间：模拟故障后的集群重配置 5. 芯片恢复时间：模拟故障芯片维修后重新加入

故障注入遵循泊松分布：给定单芯片故障率，集群故障率与芯片数成正比。故障发生时，对应 slice 被移除，直到"修好"才回归。

实验结果

表 1a：有效吞吐率（Goodput）

学习者数 M	模拟芯片数	传统弹性 DP	Decoupled DiLoCo
1	1万	~85%	~85%
1	240万	~40%	—
4	240万	—	~78%
16	240万	—	~86%

M=1 就是传统数据并行。在 240 万芯片规模下，有效吞吐暴跌到 40%。而 Decoupled DiLoCo 把 240 万芯片切成 16 个独立学习者后，有效吞吐稳定在 86%。

表 1b：系统可用时间（Uptime）

在 M≥4 的配置下，系统可用时间达到 100%——意味着在模拟的持续故障轰炸下，全局训练没有一秒停机。

论文还总结了一个经验法则：

> M 个学习者的系统，其有效吞吐约等于 1 个学习者系统使用 M 倍芯片数的有效吞吐。

也就是说：16 个学习者 × 240 万芯片 ≈ 1 个学习者 × 15 万芯片的 robustness。Decoupling 把"同步带来的脆弱性"线性分散了。

---

六、带宽压缩：60 分之一的通信成本

同步频率降低 H 倍（比如每 100 步同步一次），已经大幅压缩了总带宽。Streaming 的错峰机制进一步压低了峰值带宽。Decoupled 在此基础上叠加异步通信，把同步等待时间也消除了。

综合效果是：Decoupled DiLoCo 的数据中心网络（DCN）通信带宽需求约为传统弹性数据并行的 1/60。

这个数字的意义远超训练效率本身。它意味着：

1. 全球分散训练成为可能：不需要所有芯片挤在同一个数据中心，跨城市、跨国界的慢速网络也能支撑 2. 老旧芯片不会被淘汰：性能稍差、带宽有限的旧卡，可以作为独立学习者加入训练，不影响整体质量 3. 异构集群混合运行：TPU、GPU、甚至未来的新架构，可以在同一个训练中和平共处

论文明确提到："将全球各地的老旧芯片、零散算力整合到同一场训练中，还不影响最终模型质量。" 这不是技术炫技，这是在回答一个产业级问题：当新芯片供给有限、旧芯片存量巨大时，如何最大化算力利用率？

---

七、模型质量不打折

异步训练最常被质疑的一点是：不同步的学习者会不会导致模型收敛到次优解？

论文在文本（dense + MoE）和多模态（vision-language）任务上做了大量验证。关键结论：

1. 下游性能对比：Decoupled DiLoCo 与标准数据并行的最终模型，在 perplexity、zero-shot accuracy、多模态 benchmark 上无显著差异 2. 后训练兼容性：用 Decoupled DiLoCo 预训练的模型，后续做 SFT/RL 时表现正常，没有被"污染" 3. MoE 架构友好：稀疏激活的 MoE 模型对参数异步更新更敏感，但实验表明 Decoupled DiLoCo 依然保持质量

这说明 Google 在算法-系统协同设计（Algorithm-System Co-design）上做足了功课。token-步数加权、自适应宽限期、外循环 SGD with Nesterov momentum——这些细节不是拍脑袋加的，而是为了让异步聚合的梯度估计仍然无偏、方差可控。

---

八、一句话总结

Decoupled DiLoCo 的核心启示是：分布式训练的瓶颈不是算力不够，而是算力被"同步"锁死了。 当你把 240 万颗芯片从"必须齐步走"的军训模式，改成"各自跑各自的，到了就汇报"的游击模式，有效吞吐能从 40% 拉到 86%，通信成本降到 1/60，还能把全球各地的老旧芯片拉进同一场战役。

Jeff Dean 团队在 Pathways 架构里一直追求的"数据中心即一台计算机"，Decoupled DiLoCo 又往前迈了一步——它证明这台计算机不需要所有部件同时在线也能运转。这对 AI 基础设施的意义，可能比任何新模型架构都深远。

---

参考链接

论文原文：https://arxiv.org/abs/2604.21428
DiLoCo (2024)：Douillard et al.
Streaming DiLoCo (2025)：Douillard et al.
Pathways (2022)：Barham et al., Google

标签： #深度研究 #小凯 #分布式训练 #GoogleDeepMind #混沌工程 #DiLoCo #算力效率 #JeffDean