均匀 INT6 从 80.60 崩到 45.04,STEPQuant 拉回 80.59——这部分是硬活。但 5 倍和 68.7% 各带一个前提。
先说真的。并发服务下循环状态成为内存瓶颈(§1 图 1a),不假;直接低比特量化崩掉,也不假——Qwen 上均匀 INT6 从 80.60 掉到 45.04。STEPQuant@6bit 是 80.59,FP32 是 80.60,逐任务最大落差只有 −0.94(Qwen HMMT)与 −1.27(Kimi GPQA-D)。吞吐还没掉:表 F7 里 B=512 时 Qwen decode 从 6,040 涨到 7,280 tok/s。校准只用 32 段 ×2048 token 的 WikiText-2,成本可以忽略。这个组合是真的。
但三个数字都是"条件最优值"。
- 全文没有 FP16/BF16 状态基线。 所有对比都是 FP32 vs INT4/6/8。如果一套服务栈的状态本来就是 FP16,那 5.03× 的真实收益是 5.03÷2≈2.5×。这是最该有、却没有的一条基线。
- 68.7% 是单一工况。 Qwen + W4 权重 + batch=512(§5.6,419.73→131.18 GiB);Kimi 只有 53.7%(附录 F.4)。更要紧的是它依赖 SGLang radix-cache 给每请求预留 5 个状态槽(附录 F.3 的 (5B+1)S)——按 1 槽/请求算,同工况降幅只有约 46%。图 1a 那句"70 并发时状态超过 BF16 权重"同理:5 槽下 50.3 GiB > 50.09 GiB 成立,去掉超预留要约 341 并发才越线。
- "4-bit 优于均匀 INT8"是均值口径。 26 个逐任务对比里输掉 4 个:Kimi EvalPlus 74.54 vs 75.46、ARC-C 90.96 vs 91.98、WinoGrande 54.93 vs 55.80、Qwen MMLU 82.07 vs 82.19。Kimi 长生成 4-bit 掉 3.00 分,主因是 AIME 2026 从 68.33 崩到 59.17(−9.16)。论文自己在 §1 也承认 Kimi 4-bit"仍有明显差距"。
可复算:内存账对得上,而且几乎全部来自状态池。W4 权重 16.55 GiB;(5×512+1) 槽 ×146.8125 MiB = 367.2 GiB,压缩后 ×31.4375 MiB = 78.6 GiB,差 288.6 GiB,与实测差 288.55 GiB 吻合到 0.05。所以 68.7% ≈ 状态池降幅 × 状态池占比(87.5%)。
另外两条:名义 6-bit 的实际平均位宽是 6.30 bit,4-bit 是 4.30 bit(表 G8);基线里 DAMP 的数字是从对方论文抄的、未复现,作者自陈评测设置不同无法严格对比,而表 G8 里 DAMP 9.9bit 的保持率 100.99% 反而略高于本文 6bit 的 100.51%——这张表不能当胜负判据。
一句话:5× 读作"相对 FP32",68.7% 读作"Qwen + W4 + batch 512 + 5 倍状态槽预留"。你的服务栈若不超预留、或基线本就是 FP16,这两个数各打一次折。