每秒 685 个字：AI 出字慢，可能真不怪模型

人眨一次眼大约 0.3 秒。有这么一套系统，在这 0.3 秒里，给你的 AI 写完了两百个字。

每秒 685 个 token，单个用户独享。这是 LightSeek 基金会十月中旬公布的官方实测数字：四张英伟达 GB300，跑 Qwen3.8-Flash-Next 模型，模拟智能体编程的真实负载。普通人用网页版大模型，出字速度通常是每秒几十个 token。差出一个数量级，而模型还是那些模型。

差距藏在中间那层软件里——推理引擎。今天拆它。

司机比车重要

大模型是车，推理引擎是司机。同一个模型，不同的引擎跑出来，速度能差几倍。这层软件要回答的问题琐碎到不像话：几百个请求同时来，谁先上车？显存里塞不下了踢谁下去？每个请求要用多少 KV 缓存、什么时候释放？答错任何一题，显卡就在空转。

这个领域现有的牌面：TensorRT-LLM 是英伟达自家司机，只伺候自家卡；vLLM 是社区司机，跑得最广；SGLang 也是社区司机，各有绝活。今年五月又来了一位：TokenSpeed，LightSeek 基金会出品。这个基金会是美国注册的 501(c)(3) 非营利组织，代码 MIT 协议，仓库目前两千六百多 star，五个月里从零做到今天。

一个请求的十二站

它最被称道的设计，是把引擎劈成了两半。管生死的用 C++ 写：每个请求的一生被编成一个有限状态机。干活的用 Python 写：模型前向、内核调用这些需要快速迭代的东西留在了高层语言。

「第一个把控制面和执行面分开的推理引擎」——这句话不是它自己说的，是 PyTorch 基金会官方博客在八月收编它进生态时写下的介绍词。

拆开源码看请求的一生，数得出来十二站：出生登记（Bootstrapping）、排队（Submitted）、预热取缓存（Prefetching）、干粗活（Prefilling）、等结果（PrefillAwaitingResult）、出字（Decoding）、被抢占（Retracted）、恢复（Restoring）、收尾（Finishing）、完成（Finished），还有远程填充和就绪两站。视频里说「十二个状态机」，更准确的说法是一个状态机的十二站，其中填充和出字两个大站里还嵌着子状态机——数量对，单位要修正。

有意思的是实现方式。这十二站用 C++ 的类型系统编码：一个请求此刻在哪个站、手里攥着哪些显存资源，都是编译期类型的一部分。你想写「请求还没出完字就把缓存还给别人」这种代码，编译器直接拒绝——不是测试阶段报警，是编译都过不了。深夜线上炸掉的那类事故，被挡在了写代码的那一刻。

685 是怎么凑出来的

数字要放回它的场景里看。测试用的负载叫 SWE-Smith，模拟的是 AI 程序员干活：每个对话十到十五轮，第一轮吞五万 token 的上下文（半个代码库），后面每轮新增八百，输出限五百。这是智能体的典型形态——长上下文、多轮、单流输出。

在这个场景下，四张 GB300 跑出单用户每秒 685.9 个 token。同时官方也印了另一个方向的数字：并发拉到三十二个用户，每人降到 95.7，但每张卡每分钟的吞吐从七千三涨到两万九。两个数字都是真的——单用户独享是极限档，八人共用是你实际会遇到的样子。

快的一部分功劳在模型侧。Qwen3.8-Flash-Next 是 Qwen4 架构的预览版：一千二百五十亿总参、每 token 只激活六十亿，稀疏注意力只挑相关上下文，还带了多 token 预测模块——引擎每步先赌三个字，模型一次验证四个，赌中的直接采纳。实测赌中率 3.23，就是说十次赌八次中。这是模型和引擎合谋的结果：模型给机会，引擎接得住。引擎侧自己也动了不少刀：稀疏注意力的索引管线压缩重用、内核启动与计算重叠、显存表卸载，博客里逐项拆了账。

要说明的是，这些数字都是官方博客的测试结果，独立第三方还没复现过。看的时候心里留这一行小字。

引擎圈的瑞士

为什么一个非营利基金会要做推理引擎？看一眼牌桌就明白了。英伟达的引擎不会为 AMD 的卡优化，AMD 的软件栈也犯不着讨好英伟达。芯片厂做引擎，永远先伺候自家硬件。

TokenSpeed 的自我定位是「推理引擎圈的瑞士」：中立，因为不属于任何一家芯片厂。中立的证据是具体的——仓库里有三套内核目录，通用一套、AMD 一套、NPU 一套；英伟达开发者博客和 AMD 官方博客都专门写过怎么用它跑自家卡上的模型；写 Kimi K3 怎么在 AMD MI355X 上跑的文章，和写它怎么在 GB300 上提速的文章，出自同一拨人。

中立换来的位置叫 Day 0：模型发布当天，引擎就能跑。今年它的 Day 0 名单有七月的大模型 Kimi K3、八月的两千四百亿参数 Qwen3.8、八月的 GLM-5.3-Flash、十月的 Reflection Beam。模型厂为什么愿意提前把规格给一个小基金会？因为它不是任何一家的亲兵，提前给它不等于帮对手。

今天上午刚写过的 vLLM 巨型算子，和这期拆的是同一头大象的两半：巨型算子治显卡内核里的空转，TokenSpeed 治调度层的空转，两头都盯着智能体那个「单流出字」的场景。同一个 Kimi K3，在 vLLM 上游有人做巨型算子，在 TokenSpeed 上有 GB300 和 MI355X 两套优化——引擎之间的比赛已经贴身到这种程度。

想亲手试的话，Qwen3.8 的模型卡部署段落里已经写了 TokenSpeed 的启动命令，不用编译，一条 docker 就能跑。

信源：LightSeek 官方博客《685 tokens/s per user》（2026-10-13，4×GB300，NVFP4）；TokenSpeed 仓库（lightseekorg/tokenspeed，2,697★，2026-05-06 创建）；PyTorch 基金会生态博客（2026-08-26，「the first to separate the control plane from the execution plane」）；NVIDIA 开发者博客与 AMD 官方技术文章（Kimi K3 on MI355X）。性能数字来自官方博客的测试，未第三方复现。