685 这个数字先落地再说事:普通人读网页,眼睛扫一行大概一秒多;这套系统一眨眼(0.3 秒)能给 AI 写完两百多个字。同一个模型,同一个问题,差的是一整个数量级——差距不在显卡里,在司机身上。这帖子把司机拆开了,我核完发现,拆得基本准。
官方博客的数字逐个对过:四张 GB300、NVFP4、张量并行四路加专家并行四路,单用户 685.9,并发拉到 32 人每席降到 95.7,每张卡每分钟吞吐从 7,321.5 涨到 29,005.5——帖子写的「七千三到两万九」是约数,真数比约数好看。模型那边也对:Qwen3.8-Flash-Next 总参 1,250 亿、每 token 激活 60 亿;多 token 预测的实测接收长度 3.231(批大小 1)到 3.234(平均),每步验四个字、收下三点几个——帖子说「十次赌八次中」,三点二三除于四,等于 80.8%,这个换算成立。SWE-Smith 的负载设定(十到十五轮对话、首轮五万 token、之后每轮加八百、输出限五百)也一字不差。Day 0 名单我核到仓库 README 的 News 区:七月 Kimi K3 和 TML Inkling,八月 Qwen3.8(2.4T 规模)、Qwen3.8 Flash Next 和 GLM-5.3 Flash,十月 Reflection Beam(501B MoE,NVFP4)——一天不差。PyTorch 生态那句「第一个把控制面与执行面分开的推理引擎」,在仓库 README 里原样引着。仓库实测 2,699 个 star、MIT、2026 年 5 月 6 日建仓,361 个 fork,五个月从零到今天,帖子说两千六百多,随它去。【直引】
这条最该被展开的是那套状态机,而我核到了源码:请求的一生确实编成一个有限状态机,躺在 tokenspeed-scheduler/csrc/fsm/ 底下,用 C++ 的类型系统把「请求此刻在哪一站、手里攥着哪些显存资源」钉在编译期——README 原话,请求生命周期、KV 缓存归属、重叠时序三位一体,安全的 KV 复用由类型系统在编译时强制。想写「字还没出完就把缓存还给别人」这种代码,编译器直接拒收,不是测试阶段报警。深夜线上炸掉的那类事故,被挡在了写代码的那一刻。视频里说的「十二个状态机」是单位错误——不是十二台机器,是一台机器的一生分了十几站。【直引】
另外两块拼图帖子没提。一是内核被当作一等公民:可插拔的分层内核系统,可移植的公共 API 加集中注册表,还带异构加速器的插件机制——官方自称 Blackwell 上最快的 MLA(多头潜在注意力)实现之一就在这套目录里。二是这条时间线比帖子讲的还长:五月仓库开张当天就打出的成绩是 Qwen3.5-397B-A17B 上 580 TPS,同月进了 PyTorch 生态,八月被 PyTorch 基金会写进生态版图,顺手还支持了预填充与解码分离部署(PD 拆开的停车状态在 fsm 目录里单列)。五个月从 580 到 685,不是跳变,是爬坡。【直引】
两条补充,都是帖子没展开的。
其一,这不只是引擎的独角戏。模型侧有三样东西专门为推理友好设计:用循环状态压缩历史的 GDN 混合注意力、四分支门控残差、外加 510 亿参数的 n-gram 嵌入表(查表即能力,不费计算)。「模型给机会,引擎接得住」——帖子这句判断对,但机会是设计出来的,不是碰上的。【直引】
其二,中立的人设有一条履历撑腰:TokenSpeed 的共同创作者 Yineng Zhang,早年是 SGLang 的核心维护者,DeepSeek 系列的开源推理有他的份,后来去 Together AI 带推理——「不属于任何芯片厂」的 Switzerland,简历上写满了芯片厂和模型厂。「中立」在这里是治理概念,不是血统概念。【判断】
顺带一句:帖子说「独立第三方还没复现过」,这个保留是对的。第三方媒体当时的批评是「公告没披露基准条件」——完整博客其实披露了(SWE-Smith 全套参数),但「自己报自己的成绩」这条免责,永远不过期。【直引】
把这帖和今天另一篇巨型算子的对读,是本周最好的收获:一个治调度层的空转,一个治内核层的空转,盯的都是智能体那条「单流吐字」的长链。吐字慢这件事,从来不是一个人的锅。贴身程度还有例证:同一个 Kimi K3,vLLM 上游有人给它焊巨型算子,TokenSpeed 这边 GB300 和 MI355X 两套优化并排挂着,AMD 官方博客专门写过怎么用它跑自家卡——引擎之间的比赛已经挤到同一排更衣柜了。【推论】
下一根钉子:95.7 那个数(32 人共用)才是真实世界的形状——单用户 685 是极限档。智能体场景的甜点区在哪一档,官方没画出来;而官方没画的,往往就是你要自己掏钱去试的。