大模型吐一个字，显卡要启停两千四百次

先看一个反直觉的现象。你把一篇五百字的文档丢给大模型，提示词瞬间吞完，那会儿显卡算力是打满的。接下来逐字吐答案，反而慢了下来。算力明明没变，慢在哪？

慢在搬运。模型每生成一个字，都要把几十层网络从头到尾过一遍，每过一遍都要把全部权重从显存搬进计算单元。你一个人用的时候（术语叫低并发），每个字都只服务你这一条请求，算力大量闲置，真正卡脖子的是显存带宽——东西搬不过来，计算单元在等米下锅。

带宽本身已经够快了。H100 的显存每秒能搬 3.35TB。问题在搬运被切成了碎片。

两千四百次启停

拿 GLM-5.2 这个体量做例子（78 层，3 层稠密加 75 层专家混合），在八张 GPU 上跑 vLLM，官方仓库自己的测量：生成一个字，要连续启动两千四百五十九个微型计算任务。每个任务干完就退出，下一个再启动。

每次启停要一到两微秒。听着不多，乘两千四百五十九次，再叠加另一层浪费：任务启动有严格的先后顺序，前一个任务的所有工作块全部干完，下一个才能开始。一个任务切出 512 个工作块，而一张 B200 显卡只有 148 个计算单元，最后一轮注定有 80 个计算单元干等。这两笔加起来，逐字吐字时显存带宽的利用效率只有一半左右。

解法在 2025 年 5 月就被人写出来了。斯坦福 Hazy Research 团队发了一篇博客，标题就叫「看，没有气泡」。他们用自己造的 ThunderKittens 框架，把整个模型的所有计算焊成一个不退出的大任务——术语叫 megakernel，巨型算子。中间结果留在寄存器和片上缓存里，不再写回显存，任务从头到尾不退出，不存在启停。在 H100 上实测，显存带宽利用率做到 78%，比当时的推理框架快 1.5 倍以上。是在英伟达卡上验证的。

AMD 先落了一子

后来的事有意思在顺序。10 月 10 日，第一个完整的巨型算子解码被合并进 vLLM 上游正式版本。不是英伟达这边，是 AMD：给 DeepSeek-V4.1-Flash 做的，跑在 MI355X 上，九千一百行代码，默认关闭、手动打开才生效。三十个标准层的骨干网络，前后两半各焊成一个常驻大任务，注意力前段、注意力后段、专家混合、卡与卡之间的通信，全封在里面。

三天后 SemiAnalysis 发了警报：AMD 把巨型算子带进了 vLLM，只支持 ROCm，微型任务启动次数砍十倍。

然后是视频博主没赶上的部分。10 月 16 日，英伟达自己的一条也合并了：Kimi K3 的专用解码，用英伟达自家的 CuTeDSL 写，面向 GB300 显卡，一万两千八百行，官方数字同样 1.5 到 2 倍。比 AMD 晚了六天。

所以视频里「英伟达卡上至今还没有」这句话，是 10 月 13 日那天的快照，今天已经过期了。真实的比分是一比一，两家各有一个模型进了上游正式版。AMD 手里的板凳更深：GLM-5 和 GLM-5.2 的巨型算子（八千行和九千五百行）还排在评审队列里，配套的标准提案已挂出，今天早上文档编写指南也开了新条目。先手是真的，翻盘谈不上。

为什么只在低并发生效

性能数字本身画出了边界。AMD 的服务端实测：并发 4 时吐字延迟降 40.9%，并发 8 时降到 27.4%；上下文拉到六万字，两个数字缩到 18.4% 和 8.1%。并发一高，权重一次搬运摊给更多请求，计算单元吃饱了，搬运不再卡脖子，融合的收益跟着缩水。高并发场景下这个开关自己会退回普通路径。

它治的是「一个人用」的病。而最典型的一个人用，是智能体。Agent 干活是一条长链，每一步都是低并发吐字，一步等一步，token 之间的间隔直接加起来变成任务总时长。AMD 给的实测：智能体场景里 token 间隔从 15.0 毫秒压到 6.5 毫秒，2.28 倍。长链推理时代这个数字会越来越值钱。

数字对不对，答案没变坏——GSM8K 数学基准三次跑出 1228、1234、1235 分，普通路径 1240 分，配对检验 p 值 0.22 到 0.63，统计学上分不出差别。快是真快，答案还是那个答案。

护城河上第一次有了对攻

把镜头拉远。斯坦福 2025 年 5 月在 H100 上写出巨型算子的时候，它是一篇研究博客，验证的是「极限在哪」。一年半后，它变成两家芯片厂在同一个开源仓库里抢跑的工程标准：AMD 先合并六天，英伟达六天后跟进，接口标准两家共用。

英伟达的软件护城河没有塌。生态、算子库、装机量都还在。变化是防御方第一次要在自家最硬的地段接招——以前是别人追着兼容它，现在它也要在别人的节奏里出牌。对用模型的人来说，这是纯粹的好消息：同一段代码，白捡一到两倍的吐字速度。

下一个可以自己盯的：GLM-5.2 那个九千五百行的巨型算子（GitHub 上 vLLM 仓库编号 #60889），现在还在评审队列里坐着。

信源：vLLM 仓库 PR #60397（2026-10-10 合并，DeepSeek-V4.1-Flash mono decode，MI355X）、#61867（2026-10-16 合并，Kimi K3 CuTeDSL，GB300）、RFC #60904（性能表与 GLM-5.2 数据）、SemiAnalysis 2026-10-13 推文、斯坦福 Hazy Research 博客「Look Ma, No Bubbles!」（2025-05-27，H100 实测）。