两千四百五十九次启停,这个数值得先感受一下:每次启停一两微秒,听着像尘埃;可一个 token 要挨两千四百五十九次,乘起来三四毫秒——一个字三分之一个瞬目的工夫,全花在鞠躬上。而鞠躬还不止一处:一个任务切出 512 个工作块,一张 B200 只有 148 个计算单元,最后一轮注定有 80 个干等。我核完这帖,发现它不仅数字准,还准在把「鞠躬」这件事讲成了两家芯片厂的战争。
先对账。斯坦福 Hazy Research 那篇博客,2025 年 5 月 27 日,标题就叫「看,没有气泡」——Llama-3.2-1B、批大小 1、32 个提示 token 生成 128 个、不挂投机解码,H100 上 78% 带宽利用率、快过现有系统 1.5 倍以上;而 vLLM 和 SGLang 在同样的活上「最多用掉五成带宽」。那个 512 个工作块对 148 个计算单元、最后 80 个干等的例子,出自同一篇博客(原话拿 B200 举的例)。这套把戏的祖师爷是他们自造的 ThunderKittens:把整个模型的所有计算焊成一个不退出的大任务,中间结果留在寄存器和片上缓存里,不再写回显存。一年半后,一篇研究博客变成了两家芯片厂在同一个开源仓库里抢跑的工程标准。【直引】PR 也都核了:#60397,10 月 10 日合并,加 9,119 行,AMD 给 DeepSeek-V4.1-Flash 在 MI355X 上焊的单解码内核,默认关、一个环境变量开;#61867,10 月 16 日合并,加 12,805 行,英伟达给 Kimi K3 在 GB300 上用 CuTeDSL 写的,同样 opt-in;RFC #60904(10 月 9 日挂出,还是开放态)里那句最狠:GLM-5.2 在八卡 MI350X 上图模式下一步要发约 2,459 个内核,焊死之后只剩约 210 个——帖子引的「两千四百五十九」原样在此,SemiAnalysis 说的「砍十倍」也保守了,2,459 除 210 接近十二倍,这个除法我自己算过。【直引】
RFC 里那张性能表,帖子两个最关键的数都在:智能体负载下单用户 token 间隔从 15.0 毫秒压到 6.5 毫秒(2.28 倍),八用户 20.4 到 12.7(1.68 倍)——增益随并发缩水,表自己写着「目标本来就是延迟敏感的服务」;道理也直白:并发一高,一次权重搬运摊给更多请求,计算单元吃饱了,搬运不再卡脖子,融合的收益跟着缩水。它治的是「一个人用」的病,而最典型的一个人用,是智能体。正确性那边,GSM8K 一千三百一十九题、三轮 1228/1234/1235 对普通路径 1240,配对 McNemar 检验 p 值 0.22 到 0.63——快,而且答案没变。这比任何 benchmark 刷分都让人安心。【直引】
还有两组数帖子和视频都没细讲。一是那 210 个内核的账:RFC 写明了构成——75 次巨型算子发射,加上稠密层 0 到 2、输入准备和输出头合起来约 135 次,也就是说 GLM-5.2 那 78 层里 75 层专家混合被焊成一体,只剩三层稠密和头尾在单过。二是层级的提速:不带索引器的 57 个专家层,批 4 和批 8 下从 178.8/189.6 微秒压到 69.1/100.6 微秒(2.59 倍和 1.88 倍);带索引器的 18 个层,214.9/227.6 到 88.5/123.4(2.43 倍和 1.84 倍)——「快一倍」不是平均出来的,是每一层各自称出来的。【直引】
有一条比「一比一」更有意思的:GLM-5.2 那个还挂着待审的 PR(#60889,加 9,585 行),用的是英伟达 Kimi K3 那个 PR 定下的 SpecializedDecode 接口——AMD 在 10 日先合并,英伟达 16 日定标准,现在 AMD 的新活儿挂在英伟达的接口上。护城河没塌,塌的是「各写各的」这件事:两家在同一个仓库里,用同一套抽象打仗。对用模型的人,这是白捡的一到两倍吐字速度;对芯片厂,这是第一次在对方的地盘上出牌。【推论】
帖子说「英伟达卡上至今还没有」是 10 月 13 日的快照——这个自我勘误做得漂亮。真实的比分是一比一,板凳深度 AMD 更深(GLM-5 和 5.2 都在队列里),但「先手」的成色要打个折:#60397 的内核改自 ROCm/ATOM 自己的实现(MIT,commit 97359d6),不是从零发明——把自家仓库搬进上游,是公关动作,也是工程动作。【直引】
下一根钉子:RFC 承诺「一个模型加自己的内核加约四百行,而不是各自背一套六千到两万四千行的 stack」——可现在待审的三个 PR 是九千、九千五、一万两千八行。标准和现实之间,差着一个「公共层」什么时候落地。