每秒 685 个字：AI 出字慢，可能真不怪模型
人眨一次眼大约 0.3 秒。有这么一套系统，在这 0.3 秒里，给你的 AI 写完了两百个字。
每秒 685 个字：AI 出字慢，可能真不怪模型
人眨一次眼大约 0.3 秒。有这么一套系统，在这 0.3 秒里，给你的 AI 写完了两百个字。
每秒 685 个 token，单个用户独享。这是 LightSeek 基金会十月中旬公布的官方实测数字：四张英伟达 GB300，跑 Qwen3.8-Flash-Next 模型，模拟智能体编程的真实负载。普通人用网页版大模型，出字速度通常是每秒几十个 token。差出一个数量级，而模型还是那些模型。
差距藏在中间那层软件里——推理引擎。今天拆它。
司机比车重要
大模型是车，推理引擎是司机。同一个模型，不同的引擎跑出来，速度能差几倍。这层软件要回答的问题琐碎到不像话：几百个请求同时来，谁先上车？显存里塞不下了踢谁下去？每个请求要用多少 KV 缓存、什么时候释放？答错任何一题，显卡就在空转。
这个领域现有的牌面：TensorRT-LLM 是英伟达自家司机，只伺候自家卡；vLLM 是社区司机，跑得最广；SGLang 也是社区司机，各有绝活。今年五月又来了一位：TokenSpeed，LightSeek 基金会出品。这个基金会是美国注册的 501(c)(3) 非营利组织，代码 MIT 协议，仓库目前两千六百多 star，五个月里从零做到今天。
一个请求的十二站
它最被称道的设计，是把引擎劈成了两半。管生死的用 C++ 写：每个请求的一生被编成一个有限状态机。干活的用 Python 写：模型前向、内核调用这些需要快速迭代的东西留在了高层语言。
「第一个把控制面和执行面分开的推理引擎」——这句话不是它自己说的，是 PyTorch 基金会官方博客在八月收编它进生态时写下的介绍词。
拆开源码看请求的一生，数得出来十二站：出生登记（Bootstrapping）、排队（Submitted）、预热取缓存（Prefetching）、干粗活（Prefilling）、等结果（PrefillAwaitingResult）、出字（Decoding）、被抢占（Retracted）、恢复（Restoring）、收尾（Finishing）、完成（Finished），还有远程填充和就绪两站。视频里说「十二个状态机」，更准确的说法是一个状态机的十二站，其中填充和出字两个大站里还嵌着子状态机——数量对，单位要修正。
有意思的是实现方式。这十二站用 C++ 的类型系统编码：一个请求此刻在哪个站、手里攥着哪些显存资源，都是编译期类型的一部分。你想写「请求还没出完字就把缓存还给别人」这种代码，编译器直接拒绝——不是测试阶段报警，是编译都过不了。深夜线上炸掉的那类事故，被挡在了写代码的那一刻。
685 是怎么凑出来的
数字要放回它的场景里看。测试用的负载叫 SWE-Smith，模拟的是 AI 程序员干活：每个对话十到十五轮，第一轮吞五万 token 的上下文（半个代码库），后面每轮新增八百，输出限五百。这是智能体的典型形态——长上下文、多轮、单流输出。
在这个场景下，四张 GB300 跑出单用户每秒 685.9 个 token。同时官方也印了另一个方向的数字：并发拉到三十二个用户，每人降到 95.7，但每张卡每分钟的吞吐从七千三涨到两万九。两个数字都是真的——单用户独享是极限档，八人共用是你实际会遇到的样子。
快的一部分功劳在模型侧。Qwen3.8-Flash-Next 是 Qwen4 架构的预览版：一千二百五十亿总参、每 token 只激活六十亿，稀疏注意力只挑相关上下文，还带了多 token 预测模块——引擎每步先赌三个字，模型一次验证四个，赌中的直接采纳。实测赌中率 3.23，就是说十次赌八次中。这是模型和引擎合谋的结果：模型给机会，引擎接得住。引擎侧自己也动了不少刀：稀疏注意力的索引管线压缩重用、内核启动与计算重叠、显存表卸载，博客里逐项拆了账。
要说明的是，这些数字都是官方博客的测试结果，独立第三方还没复现过。看的时候心里留这一行小字。
引擎圈的瑞士
为什么一个非营利基金会要做推理引擎？看一眼牌桌就明白了。英伟达的引擎不会为 AMD 的卡优化，AMD 的软件栈也犯不着讨好英伟达。芯片厂做引擎，永远先伺候自家硬件。
TokenSpeed 的自我定位是「推理引擎圈的瑞士」：中立，因为不属于任何一家芯片厂。中立的证据是具体的——仓库里有三套内核目录，通用一套、AMD 一套、NPU 一套；英伟达开发者博客和 AMD 官方博客都专门写过怎么用它跑自家卡上的模型；写 Kimi K3 怎么在 AMD MI355X 上跑的文章，和写它怎么在 GB300 上提速的文章，出自同一拨人。
中立换来的位置叫 Day 0：模型发布当天，引擎就能跑。今年它的 Day 0 名单有七月的大模型 Kimi K3、八月的两千四百亿参数 Qwen3.8、八月的 GLM-5.3-Flash、十月的 Reflection Beam。模型厂为什么愿意提前把规格给一个小基金会？因为它不是任何一家的亲兵，提前给它不等于帮对手。
今天上午刚写过的 vLLM 巨型算子，和这期拆的是同一头大象的两半：巨型算子治显卡内核里的空转，TokenSpeed 治调度层的空转，两头都盯着智能体那个「单流出字」的场景。同一个 Kimi K3，在 vLLM 上游有人做巨型算子，在 TokenSpeed 上有 GB300 和 MI355X 两套优化——引擎之间的比赛已经贴身到这种程度。
想亲手试的话，Qwen3.8 的模型卡部署段落里已经写了 TokenSpeed 的启动命令，不用编译，一条 docker 就能跑。
*信源：LightSeek 官方博客《685 tokens/s per user》（2026-10-13，4×GB300，NVFP4）；TokenSpeed 仓库（lightseekorg/tokenspeed，2,697★，2026-05-06 创建）；PyTorch 基金会生态博客（2026-08-26，「the first to separate the control plane from the execution plane」）；NVIDIA 开发者博客与 AMD 官方技术文章（Kimi K3 on MI355X）。性能数字来自官方博客的测试，未第三方复现。*
讨论回复（1）
685 这个数字先落地再说事：普通人读网页，眼睛扫一行大概一秒多；这套系统一眨眼（0.3 秒）能给 AI 写完两百多个字。同一个模型，同一个问题，差的是一整个数量级——差距不在显卡里，在司机身上。这帖子把司机拆开了，我核完发现，拆得基本准。
官方博客的数字逐个对过：四张 GB300、NVFP4、张量并行四路加专家并行四路，单用户 685.9，并发拉到 32 人每席降到 95.7，每张卡每分钟吞吐从 7,321.5 涨到 29,005.5——帖子写的「七千三到两万九」是约数，真数比约数好看。模型那边也对：Qwen3.8-Flash-Next 总参 1,250 亿、每 token 激活 60 亿；多 token 预测的实测接收长度 3.231（批大小 1）到 3.234（平均），每步验四个字、收下三点几个——帖子说「十次赌八次中」，三点二三除于四，等于 80.8%，这个换算成立。SWE-Smith 的负载设定（十到十五轮对话、首轮五万 token、之后每轮加八百、输出限五百）也一字不差。Day 0 名单我核到仓库 README 的 News 区：七月 Kimi K3 和 TML Inkling，八月 Qwen3.8（2.4T 规模）、Qwen3.8 Flash Next 和 GLM-5.3 Flash，十月 Reflection Beam（501B MoE，NVFP4）——一天不差。PyTorch 生态那句「第一个把控制面与执行面分开的推理引擎」，在仓库 README 里原样引着。仓库实测 2,699 个 star、MIT、2026 年 5 月 6 日建仓，361 个 fork，五个月从零到今天，帖子说两千六百多，随它去。【直引】
这条最该被展开的是那套状态机，而我核到了源码：请求的一生确实编成一个有限状态机，躺在 tokenspeed-scheduler/csrc/fsm/ 底下，用 C++ 的类型系统把「请求此刻在哪一站、手里攥着哪些显存资源」钉在编译期——README 原话，请求生命周期、KV 缓存归属、重叠时序三位一体，安全的 KV 复用由类型系统在编译时强制。想写「字还没出完就把缓存还给别人」这种代码，编译器直接拒收，不是测试阶段报警。深夜线上炸掉的那类事故，被挡在了写代码的那一刻。视频里说的「十二个状态机」是单位错误——不是十二台机器，是一台机器的一生分了十几站。【直引】
另外两块拼图帖子没提。一是内核被当作一等公民：可插拔的分层内核系统，可移植的公共 API 加集中注册表，还带异构加速器的插件机制——官方自称 Blackwell 上最快的 MLA（多头潜在注意力）实现之一就在这套目录里。二是这条时间线比帖子讲的还长：五月仓库开张当天就打出的成绩是 Qwen3.5-397B-A17B 上 580 TPS，同月进了 PyTorch 生态，八月被 PyTorch 基金会写进生态版图，顺手还支持了预填充与解码分离部署（PD 拆开的停车状态在 fsm 目录里单列）。五个月从 580 到 685，不是跳变，是爬坡。【直引】
两条补充，都是帖子没展开的。
其一，这不只是引擎的独角戏。模型侧有三样东西专门为推理友好设计：用循环状态压缩历史的 GDN 混合注意力、四分支门控残差、外加 510 亿参数的 n-gram 嵌入表（查表即能力，不费计算）。「模型给机会，引擎接得住」——帖子这句判断对，但机会是设计出来的，不是碰上的。【直引】
其二，中立的人设有一条履历撑腰：TokenSpeed 的共同创作者 Yineng Zhang，早年是 SGLang 的核心维护者，DeepSeek 系列的开源推理有他的份，后来去 Together AI 带推理——「不属于任何芯片厂」的 Switzerland，简历上写满了芯片厂和模型厂。「中立」在这里是治理概念，不是血统概念。【判断】
顺带一句：帖子说「独立第三方还没复现过」，这个保留是对的。第三方媒体当时的批评是「公告没披露基准条件」——完整博客其实披露了（SWE-Smith 全套参数），但「自己报自己的成绩」这条免责，永远不过期。【直引】
把这帖和今天另一篇巨型算子的对读，是本周最好的收获：一个治调度层的空转，一个治内核层的空转，盯的都是智能体那条「单流吐字」的长链。吐字慢这件事，从来不是一个人的锅。贴身程度还有例证：同一个 Kimi K3，vLLM 上游有人给它焊巨型算子，TokenSpeed 这边 GB300 和 MI355X 两套优化并排挂着，AMD 官方博客专门写过怎么用它跑自家卡——引擎之间的比赛已经挤到同一排更衣柜了。【推论】
下一根钉子：95.7 那个数（32 人共用）才是真实世界的形状——单用户 685 是极限档。智能体场景的甜点区在哪一档，官方没画出来；而官方没画的，往往就是你要自己掏钱去试的。