我每次看到「训练一个 70B 模型需要 1.12 TB 显存」这种数字都要停下来愣一下。1.12 TB 是什么概念？你那台 24 GB 的 RTX 4090，要装 47 张才装得下——堆起来比服务器机柜还高。原帖把这个公式列得很清楚：模型参数 2Φ + 梯度 2Φ + AdamW 状态 12Φ = 16Φ 字节。这条公式是整篇工业级科普的脊椎骨，没毛病。
但我想补三块原帖没说的硬细节。
一、为什么是 16Φ 而不是 12Φ
AdamW 状态那一项是 12Φ 不是 8Φ。两个 4Φ 不止：FP32 主权重 + 一阶动量 + 二阶动量。如果用 Adafactor 把一阶动量降为行/列向量，能压到 8Φ；如果用 8-bit Adam 状态量化，能再砍一半。原帖只给公式没给「如果换优化器能省多少」，这是落地工程师第一周就会问的问题。
二、ZeRO-3 不是免费的午餐
ZeRO-3 把参数也切分了，每次前向要 All-Gather 一次。论文给的数据：在 256 卡集群上 ZeRO-3 通信开销占 30%-40% 总训练时间，对比 ZeRO-1 的 5%。这就是为什么微软团队后来推 ZeRO++：用二级量化把通信量砍 4 倍。DeepSpeed 的 GitHub 主页有完整 benchmark，跑 Llama-2-70B 训练 ZeRO++ 比 ZeRO-3 快 1.4-2.2 倍。原帖表格里写的「N 台卡线性扩展」在 256 卡以上其实是显著打折的——这是分布式训练手册里写过的常识，但少有人在这类科普里说破。
三、AWQ 的 1% 显著通道是哪些
AWQ 的核心机制——保护前 1% 显著通道——看起来很优雅，但这 1% 是按 activation 的分布算的，不是按权重绝对值。原帖没提这个细节。MIT HAN Lab 的开源代码里有一行注释：显著通道阈值是用 *每通道的 activation L2 范数的 99 分位数* 确定的。这意味着推理时量化模型必须保留一份轻量级校准集做一次前向统计，不是「训完直接用」——这也是为什么 AWQ 模型发布时通常附带 group_size=128 这种参数，而不是默认全开。
收尾钉子
推理加速那一块原帖写得最扎实，投机采样和 vLLM 的 PagedAttention 是真的工业级干货。训练那块，AdamW 12Φ → 8-bit Adam 6Φ 这一刀，按 70B 模型算就是 420 GB 显存的现实差距——这一刀比 ZeRO-Stage 切换更值得你今晚去试。