一座山的水利

你问大模型一个问题，屏幕上一个字一个字往外蹦，像山顶渗出一滴水，顺着山坡流到你的眼前。这个画面是轻盈的。但同一座山，同一时刻，可能正在给几十万人供水——每人都要水不停、不掺杂质、不串味。让这件事成立的不是山，是山里的水利系统：推理框架。

上周（10 月 16 日），DeepSeek 把自己生产环境的这套水利系统开源了，取名 DeepInfer。一周拿了 21,349 颗星。它只服务一个模型：DeepSeek-V4.1-Flash。别的框架什么都想装，它只修一座山，但把这座山的每一根水管都换成了定制的。

三座前山

要懂 DeepInfer 做了什么，得先看它前面的三座框架。

vLLM 在 2023 年开源，靠一招「分页显存」起家：把 KV 缓存像操作系统管内存那样切成小块按需分配，显存不再为「不知道多长的回答」预留整块空地，再配上连续批处理——新请求随到随插队，不必等一批跑完。这是梯田：把整块地切成小格，一滴水都不浪费。

SGLang 的招牌是前缀树（RadixAttention）：你问「介绍一下杭州」，我接着问「它的西湖呢」，第二问的前缀和第一问完全一样，那这些前缀的算力就不该重复付——把所有请求的前缀组织成树，共同的枝干算一次、存着、大家共用。再加上把 CPU 调度和 GPU 计算重叠起来的流水线。这是水系：上游水库蓄一次水，下游所有田都浇得上。

TensorRT-LLM 是英伟达的闭源引擎，往芯片里扎根：FP4 低位宽计算、GB300 那种 72 卡一个互联域的巨机。这是石渠：渠是石头砌的，专配专用的山。

然后是 DeepInfer。视频里把它讲成第四座山，这没错，但它的致谢栏里有一句容易被略过的话：这个框架最初主要是基于 vLLM 构建的，另外参考了 SGLang 和 TensorRT-LLM。换句话说，第四座山是在第一座山的骨架上重建的——通用梯田的图纸还在，但每一格梯田都按这一座山的水流重新凿过。

只修一座山

DeepInfer 支持的模型列表只有一行：DeepSeek-V4.1-Flash。就是这个 10 月 17 日的快照、上下文窗口 1M token、权重 MIT 协议的模型。通用框架要照顾几十种模型、几十种硬件组合，每一步优化都得是「最大公约数」；DeepInfer 不用——架构里每个特殊的角落都可以换来专门的水管。这就是「为一座山修到极致」的具体含义：不是更快地做通用的事，是做只有这座山才需要的事。

它主页的基准也是这么测的：prefill 用 4 张 SM100 卡、decode 用 64 张，各自在一个 scale-up 互联域之内——普通 8 卡机做前奏，64 到 128 卡的超节点做主力。没有巨机崇拜，全是商品化硬件的堆叠。

四个字的水利学

这期视频把 DeepInfer 的本事总结成四个词：少算、不等、均衡、如一。这四个词都能在代码和文档里找到户口，而且每个都比字面更有意思。

少算。能不付的算力一分不付。V4.1-Flash 的注意力是双层的：一个轻量索引器先粗筛哪些历史内容相关，主注意力再对筛出来的精算——索引器自己的 KV 用 MXFP4 存，主 KV 用 FP4（e4m3，每 16 个元素一组缩放），路由专家权重也是 MXFP4，滑窗那部分 KV 则是 MXFP8、每个 token 528 字节。一层稀疏叠一层低位宽。滑窗长度的旧上下文干脆只留 128 个 token 的窗口，重算时也只重放最近 128 个——「有界重放」，边界是硬的。跨层共享由 YOCO（You Only Cache Once）承担：prefill 阶段被截断的模式，和保留全部的模式，仓库里有个脚本专门验证两种模式逐元素等价——秒级验证元数据，8 卡对齐 logprob，连置信度分数都按比特比对。

不等。能重叠的等待绝不排队。调度器是异步的、零开销的：批次随时重排，新请求随时插入。投机解码用的是 DSpark——不是固定长度的草稿验证，而是用置信度头预测每个草稿 token 被接受的概率，把验证算力花在边际收益最高的地方。更妙的是它和异步调度的配合：安排下一批时，上一步的置信度还没算完，CPU 就只定一个总预算，每个请求分多长由 GPU 上的 TileLang kernel 现场重算。等待不是被消灭的，是被拆开、塞进别的缝隙里的。

均衡。水压要处处一样。MoE 模型的专家负载天生偏斜，有的专家被挤爆、有的闲着，EPLB 负责把专家搬来搬去保持均衡；长文本把上下文并行切成均匀的段。更少人讲的是存储侧的均衡：SWA 的 KV 留在本地内存，跨机命中走 400G VLAN 拉取；分页的块缓存进 3FS 分布式存储；KV 缓存保留 72 小时以上——命中一次缓存，整段 prefill 就不用重算。三个存储层，各存各的寿命，各走各的管道。

如一。同一个问题，今天问和明天问，得给同一个答案。DeepInfer 提供批次不变的推理（batch-invariant inference，目前 NVIDIA 侧）和确定性采样——不管你的请求和谁拼了车、落在哪个卡上，输出逐比特一致。这不只是洁癖：评测的 PPL 基线按平台和工作负载逐样本锁死，多节点刷新基线要过跨机文件锁，谁也别想悄悄漂移。最后是「双算子」：同一套框架，NVIDIA SM100 和华为昇腾 950 两套平台都跑——德州仪器和日立的插座，接同一根水管。

修水利是门生意

这些工程细节背后是三个数字。第一，单个集群目前每天服务 155 万亿 token。第二，整体收入 38 美元每 GPU 小时——还是谷时价格。第三，KV 缓存保留 72 小时以上，为的是让回访用户的重复 prefill 变成一次缓存命中。

「读便宜、写贵」——这是 V4.1-Flash 这个 890B 模型的开销结构，prefill 8B 激活、decode 16B 激活，上次解剖它时写过的结构。DeepInfer 相当于把这套开销结构从模型侧搬到了机房侧：模型管住每个 token 的读写量，框架管住每个 token 的水从哪来、流过几道闸、存多久。两边算的是同一笔开销。

那些泉眼——FlashMLA（13,175 颗星）、DeepEP（10,347）、DeepGEMM（9,089）、EPLB——都是去年二月就开源的旧闸门，这次一起装进了一个完整的调度系统。零件早就有了，图纸上周才放出来。

想自己看看水管的，仓库是 github.com/deepseek-ai/DeepInfer，Apache 2.0，424 个文件，YOCO 等价性验证脚本跑一遍只要几秒钟——「如一」这两个字，是能逐比特验收的。