AI infra · 2840 亿参数住进 64GB 内存：一块没有显卡的 CPU，跑起了一个"云专属"的模型

一台普通的笔记本级 CPU，十六个核，没有显卡。内存条 64GB。它在做的事，是一个总参数量 2840 亿的模型，正在一个字一个字地往外吐。这件事在半年前还是一门玄学——那个尺寸的模型，官方文档写着无损部署需要约 168GB 内存，社区里跑得动的配置是 128GB 内存外加 48GB 显存。现在有一个叫 llama-modchip 的开源项目把这条门槛整体往下砸了一档：64GB 内存，纯 CPU，零交换。

先算一笔账，看看这道门原本堵在哪。DeepSeek 在四月发布的 V4-Flash 是个 284B 的混合专家模型：总参 2840 亿，每个 token 只激活约 130 亿，二百五十六个专家里每层选六个上场。稀疏激活意味着计算量不大，真正的难题变成了存放——所有专家的权重都得在某个地方待命。官方的 FP4 权重占约 168GB。社区量到 1-bit 档（Unsloth 的 UD-IQ1_S），也有 76.87GB。一台 64GB 的 Linux 机器，操作系统吃完之后剩下约 62.5GB 可用。76.87 塞不进 62.5，差的那十几 GB 会让系统开始疯狂读盘，速度直接塌方。

modchip 的做法是把 1-bit 档再往深处压，同时给压缩后的数字"找补"。它把权重切成自定义的 64 数字小块，每块配 BF16 的主刻度和次级刻度，二次缩放去贴合激活值的分布——大意是：量化可以狠，刻度必须准。真正对精度敏感的层，一个都不含糊，老老实实留在高精度档。全压完，76.87GB 变成 56.56GB，折合每个参数约 1.71 比特。模型本体加上 256K 的 KV 缓存，全部住在内存里，实测占用 57.6 到 58.9GB，NVMe 交换为零。

仓库名字里那个"chip"，指的不只是量化，还有一整套自己写的 CPU 内核。Prefill 用了寄存器、L1、L2、L3 四级分块流水，FlashAttention 直接落在寄存器上，再用非临时访存提示，防止冷 experts 的权重把热 KV 缓存从缓存里挤出去。这些内核给同一段推理带来了 +77% 的 prefill 和 +53% 的解码提速。解码端还有个加分项：一个只有 1.64MB 的 n-gram 起草器，名字取得很直白，Stockfish-PVS，走国际象棋引擎的思路猜下一个 token；另外 KV 快照存在共享内存里，代理场景切换上下文只要约 13 毫秒。

实机数字摆出来。在 Ryzen 9 9955HX（16 核 Zen 5、零显卡）上，284B 模型 prefill 约 44.4 tok/s，解码 9.1 到 14.7 tok/s。旁边那个 30B 的 Nemotron MoE 更宽裕，纯 CPU 每秒 25 到 60 个 token，换 Threadripper PRO 能到 111.6。9 个 token 每秒是什么概念——比人阅读快，比聊天等待的耐心极限也快。一个 2840 亿参数的模型，就这样跑在一条 64GB 的内存条上。

必须说清楚边界。以上性能与"默认模式下 logits 与未打补丁的运行时余弦相似度 1.00000"的位级吻合声明，全部出自项目自己的 README，属于自述口径，等第三方复现前打七折听。自定义张量格式意味着 llama.cpp、Ollama、LM Studio 这些现成工具读不了它的文件，得用它自带的运行时。64GB 只是下限，机器最好留给操作系统 8GB 以上呼吸空间。

但方向是真的。混合专家架构把"模型有多大"从计算题改写成了仓储题——参数可以海量地躺着，只要每次只动那一小撮。躺着的地方，可以是显存，也就可以是内存。显卡的垄断护城河一直砌在"所有权重必须在快存储里"这条假设上，稀疏性把它抽掉了。三十年前，跑不动的大模型要等下一代显卡；现在，先等的是算法把假设拆掉。一台笔记本级 CPU，今天已经能陪着 2840 亿个参数慢慢说话了。

信源与限定：模型规格（V4-Flash 284B 总参/约 13B 激活、256 专家、1M 上下文、官方 FP4 约 168GB 部署）出自 HuggingFace 与 vLLM 官方 recipe 页；64GB 机器 76.87GB 检查点放不下、56.56GB@约1.71bpw、Fractal-64 量化块、内核提速幅度、9955HX 上 44.4 tok/s prefill 与 9.1-14.7 tok/s 解码、30B Nemotron 数据、1.64MB 起草器、13 毫秒上下文快照、logits 余弦 1.00000 自述，全部出自 llama-modchip 仓库 README（v2.4.0，Apache-2.0，HN 11 月 8 日 356 分讨论）与项目页面，属项目自述未经独立复现；性能数字为该仓库在特定硬件上的测试口径，换硬件不保证复现。

#AIInfra #本地推理 #MoE #量化 #DeepSeek