这篇的账我一路算到了底，先报总账：结构全对，数字几乎全对，唯一真正贵的一处是那六百多亿美元。
先说对得漂亮的。每个参数十六字节：BF16 权重两字节、BF16 梯度两字节、FP32 主权重四字节、Adam 动量四字节、方差四字节，加起来正是十六。两万亿乘上去 32 TB，一张 H100 80 GB，四百张卡起步——这还没算激活和通信缓冲。一乘就对，不用客气。【直引】
Llama 3 那段我回去翻了原论文（arXiv 2407.21783）：54 天里一共 466 次作业中断，其中 47 次是计划内维护，剩下 419 次意外；意外里约 78% 是确认或疑似的硬件问题，GPU 是最大头，占全部意外的 58.7%；CPU 整个 54 天只挂了两次。帖子把 58.7% 读成「GPU 相关」，原论文的措辞是「largest category」，这个转述没走样。同一篇论文里还写着「超过 90% 的有效训练时间」，以及 405B 三档配置的实测 MFU 是 38% 到 43%——这几个数后面有用。顺带说一句，「每张 H100 都配了热备卡」这个细节我在论文里没检索到原文，论文讲的是缩短作业启动和检查点时间、快速诊断工具、自动化集群维护；有效训练时间超过九成是白纸黑字，热备卡不是。【判断】
DeepSeek-V3 那段也对：671B 总参、37B 激活、2,048 张 H800、DualPipe、几乎放弃张量并行，全是原论文口径。原论文还给了个漂亮数字：整个训练 278.8 万 H800 卡时，按两美元一小时合 557.6 万美元——这是 671B 的总账，帖子拿它当对比参照，选得准。GB200 NVL72 的 72 卡、单卡 1.8 TB/s、整机架 130 TB/s，NVIDIA 官方页面上逐字对得上。DiLoCo 那段：每五百步同步一次、通信量少五百倍、八个互不相连的算力孤岛，出自 DeepMind 2023 年 11 月那篇，原始实验的头条数字在 1.5 亿参数的 C4 上；今年 4 月的解耦版把 12B 的 Gemma 4 拉到四个美国区域、2 到 5 Gbps 的广域链路上，64.1% 对同步基线的 64.4%。「效果打平」四个字，两代论文都撑得住。【直引】
现在说那六百亿。帖子自己的算式：两万亿参数乘每参数二十个 token 等于四十万亿 token，每 token 六个 FLOPs，总账 4.8×10²⁶；一张 H100 按四成有效利用率，跑完约三亿卡时；按两美元一小时，六亿出头，加上杂项七点五亿。前半段我复算，一个不差。卡时那段我把三种口径都跑了一遍：H100 的 BF16 稠密算力约 495 TFLOPS，打四折是每卡 198 TFLOPS，4.8×10²⁶ 除下去是六点七亿卡时，按两美元是十三点五亿美元；换成 Llama 3 论文里实测的 38% 到 43% MFU，是六点三到七点一亿卡时，十二点五到十四点二亿美元。帖子那三亿卡时倒推回去，要求每卡有效算力 444 TFLOPS——接近稠密峰值的九成。「四成有效利用率」和「三亿卡时」，在同一个 H100 口径下不能同时成立；要凑出三亿，得把 989 TFLOPS 那个带稀疏的标称峰值当稠密用。【判断】
这不是抬杠。这笔账的方向性结论反而更硬了：两万亿参数的训练，即便按帖子最乐观的估法也是亿美元级，按 Llama 3 自己交出的 MFU 是十亿美元级。所谓「七点五亿美元」，是拿市场上最漂亮的标称算力打最大的折算出来的。账要自己算，算完你会发现，贵这件事比帖子说的还要贵一点。【推论】
前三把刀我也顺带核了。ZeRO 三档切法逐档对上：只切优化器状态、再加梯度、最狠连参数一起切，内存能压掉一个数量级，代价是通信从看不见变成主角。梯度检查点用计算换内存，训练慢三成左右，换来激活内存不随深度膨胀——这笔交易在任何足够深的模型上都划算。FlashAttention 那段的数字抠一下：A100 的片上缓存合起来约 20 MB 没错，但带宽是主显存的十倍左右，「十几倍」略微抬高了；不过结论不受影响——把序列切块搬进 SRAM 算完再搬出，平方级大矩阵全程不碰，这一刀确实是百万 token 上下文的前提。【直引】
再补一个 Llama 3 的尺子：405B 那一版最多开到 16K 张 H100，每卡 700W TDP、80GB HBM3，跑在 Meta 的 Grand Teton 服务器平台上；三种并行配置实测 MFU 是 43%、41%、38%，卡数翻倍，MFU 反而掉两个点——论文自己解释，是为了保持全局每批 token 数不变，每组数据并行的批量只能压小。拿这把尺子当标尺，那三亿卡时的估计有多飘，一眼能看出来。【直引】
下一根钉子：DiLoCo 那条线上，公开可查的最大规模还停在 12B。把通信量少五百倍的方法推到千亿级，掉不掉点、掉多少，现在没有人交出完整曲线。在有人交出来之前，「跨大洲数据中心」这四个字，工程上是愿望，不是事实。