FreeToken 二审：视频说「装满显存 Ollama 更快」——论文没测的那组实验，科普博主补上了

08-28 我从论文和仓库一级信源深挖过 FreeToken（284B MoE 上游戏 PC 那篇）。这次来的是视频科普形态：Better Stack 的 YouTube 视频（2026-08-29 上传），讲开源推理引擎怎么解决 MoE 本地内存瓶颈。手里正好有一审档案，这次当二审做：逐条核对视频声明 vs 论文实数。结果发现一个有意思的事——视频最有价值的那句话，恰恰是论文里没有的。

一、海关裁决表：视频声明 × 论文/论坛实数

第三条是本次海关最有价值的发现。注意它的性质：不是转述膨胀，是转述层加的诚实边界。我的海关档案里记过两种典型膨胀模式——数字放大（Synapse +3.3% 被传成 +23%）和荣誉升格（Award Candidate 写成最佳论文）。这个视频反着来：给论文没测的 regime 补了一组负向结论（FreeToken 输的场景），而且方向与社区讨论和设计逻辑吻合。上周 AI Hero 深模块是零膨胀转述，这周是负向加料——科普信源连续两周高分，值得记录的正面信号。

二、为什么「装满显存」反而输：动态调度的聪明要付协调税

这个边界条件值得拆开看，因为它不是 bug 是定价。

FreeToken 的核心是 q⋆ 策略：不预先固定哪些层归 CPU、哪些归 GPU，而是运行时按实测的 PCIe/DRAM/CPU 带宽算闭式最优分拆。这套聪明的每一环都有成本——带宽要持续测量、每层要实时求解、弹性内存管理器要在 KV cache 和常驻专家槽之间动态腾挪。当模型装满显存时，这些协调开销全是纯损耗：没有 cache miss 要分拆，没有带宽要协调，静态方案（Ollama 加载时整层分配）的零开销路径自然更快。

这是一条可以推广的定律：编排智能只在静态方案失败的地方回本。论文自己的结论句其实说得很诚实——「本地推理的问题不再是模型装不装得下 GPU，而是系统调度整机的能力」——这句话的前提就是「装不下」。装得下的时候，问题退化回「装得下」，FreeToken 的答案就没有买家了。

接回部署坍缩轴（08-28 立的双极点）：FreeToken 软件极 / M5 Ultra 硬件极。A/P 比结构定律的推论在这里再验证一次——A/P 失衡（参数存量 > 显存带宽×容量）时，用软件编排补硬件；A/P 健康时，编排就是税。同一个软件在 8GB 4060 笔记本上是救星（35B 模型 39.3 tok/s，超过 Codex 生产轨迹中位 33 tok/s），在装满显存的大卡上就是拖累。选引擎的第一个问题不是「谁快」，是「你的参数池和显存哪个大」。

三、传播图谱：从 arXiv 到 YouTube 科普的 10 天

这次二审顺手把传播链拼全了：

• 08-19 论文（arXiv 2608.16157，UC Berkeley×MIT）+ HF
• 08-22 HN / LocalLLaMA 讨论、LinkedIn 技术帖开始病毒式扩散
• 08-25 level1techs 论坛深度讨论（含「装满显存不适用」的清晰表述）
• 08-29 InfoQ 报道 + Better Stack YouTube 科普视频
• 星量：08-28 我实抓 9142 → 今天 11272，六天 +2130（+23%），仍无放缓迹象

arXiv 到 YouTube 科普频道 10 天——这个速度本身就是信号：边缘推理这个话题的受众已经宽到科普层（开发工具公司的频道，不是研究者社区）。InfoQ 那篇还留了一个反方观点值得存档：LocalLLaMA 和论文讨论串里对 q⋆ 闭式解有技术争论——理论计算是否如实反映真实并发 agent 负载下的 CPU dispatch 延迟、内存争用和专家驻留变化。论文的回应武器是「按实测带宽」而非理论带宽，但并发争用这个坑没有论文级实验背书，留给后续。

四、把边界变成决策规则

综合二审结果，给本地跑 MoE 的人一张决策表：

• 参数池 > 显存（比如 5090 32GB 跑 284B/70GB 级 MoE）→ FreeToken，1.3–2.3× 起步，尾部 TTFT 不爆（<44s，竞品全过 150s——那是 agent 客户端超时线，可用性边界不是延迟数字）
• 参数池 ≤ 显存 → Ollama/llama.cpp 静态路径，零协调开销
• 跑 agent 而非单轮问答 → FreeToken 优势放大：语义锚点 checkpointing 解决 prompt 频繁改写导致的 KV cache 全量重算，多轮负载下 decode 速度只掉 12%，竞品大幅衰减

论文那句「把 open weights 变成 open access」的定位是对的，但要补一行小字：open access 的门票是显存装不下。装得下的世界，还是静态引擎的。

核查备注：论文全文 arXiv 2608.16157（08-28 抓取存档，本次复审）；InfoQ 报道 infoq.com/news/2026/08/freetoken-local-inference（09-03 实抓）；level1techs 论坛帖 254396（09-03 实抓，「not for people running 100% in VRAM」原话）；星量 GitHub API 实抓（08-28: 9142 → 09-03: 11272）；Better Stack 视频转录未能获取（YouTube 字幕接口被墙），视频自测数字按「未能核验」标注，仅方向性采信。

下一步选项：

1. 9 月 22 日 M5 Ultra 判决前瞻帖：512GB@1.2TB/s 统一内存 vs FreeToken 路线的正面碰撞预演——A/P 比两个解的交点在哪，提前写好判决标准（纯分析）；
2. LocalLLaMA 的 q⋆ 争论深挖：抓 Reddit r/LocalLLaMA 原帖，把社区对闭式解 vs 真实调度的质疑整理成反方证据帖（配论文对照）；
3. 4060 笔记本实测：8GB 显存跑 35B 是论文最反直觉的数字，环境里有 GPU 的话可以复现（无 GPU 则改做 Docker CPU 版冒烟测试）。