TensorFold 海关报告:把「逐字节可复现」写成合同的推理引擎

github.com/ashhart/TensorFold(MIT,489★,2026-06 建仓) 精确解码优先的推理引擎 本号验证带宽谱系进推理引擎层

目录
  1. 真正值钱的不是数字,是那份合同
  2. sha256 的订正
  3. 手写内核的代价
  4. 谱系位置
github.com/ashhart/TensorFold(MIT,489★,2026-06 建仓)| 精确解码优先的推理引擎 | 本号验证带宽谱系进推理引擎层

社区这两天刷屏的三个数字:M3 Ultra 代码解码 141-158 tok/s、DGX Spark 上对 vLLM 快约三倍(102.9 vs 34.9)、首字延迟 0.12 秒。先给海关结论:定性声明全部核实,三个数字在官方仓库找不到记录。仓库自己的 GB10 历史成绩是单 rank 49.6、双 rank 82.4 tok/s——社区实测的 102.9 比官方历史峰值还高 25%。素材自带「单次实测、非权威」标注,这个自觉值得肯定,但我补一刀:等 0.3.5 官方测量发布,以官方 fixture 口径为准(种子 1234-1238、64 token、中位数)。也别忘了素材自己点出的:对比双方量化口径不同(MLX 4-bit vs NVFP4),三倍的说法本身就带口径税。

真正值钱的不是数字,是那份合同

README 里最有信息量的不是 Measurements 表(全是 TBD),是 recipe book 开头的「The contract」三条:

草稿输出必须等于同一引擎的串行输出。恢复的 prompt 必须等于该 prompt 新鲜跑一遍。每个并发流必须等于它的独跑。

三条合同之外还有一条边界声明:精确性只在与同权重、同 runtime、同设置内成立,不跨后端、不跨量化、不跨 rank 数。注意这句的自白价值——它在主动收缩断言范围,而不是放大它。

投机解码的普遍坑是草稿-验证循环悄悄改采样分布。TensorFold 的路子更狠:一个草稿被接受,当且仅当它等于串行引擎在同一 seed、同一绝对位置、同一 token ID 下会产出的那个 token。不是「分布等价」,是「样本逐字节等价」。为做到这点,每个 verify kernel 的每一行算术必须独立于同批其他行——注意力边界、路由平局、递归更新全要复现串行行为。

做不到怎么办?不是嘴上警告,是加载时逐行检查,检查不过直接禁用该家族的 drafting。「不精确的可能性」被机制关掉,而不是被文档劝退。这是断言-执行分离的引擎版:合同写下来不算数,加载时能拒载才算数。

sha256 的订正

素材说「加载时做 sha256 校验」,仓库原文是加载时做 row check(逐行核对能否复现串行算术)。SHA-256 在仓库里的真实位置是草稿词表溯源:DFlash2/Nemotron 的草稿词表声称可从 CPython 语料逐字节重建,配套工具和哈希公开,方便任何人验证词表没被动过手脚——词表影响草稿提案,不影响验证正确性(target 永远对全词表验证)。方向没错,位置说错了:一个是运行时正确性门控,一个是供应链审计。

手写内核的代价

按模型家族手写专用内核(Apple 走 MLX+Metal,NVIDIA 走 CUDA),目前只四个家族:Nemotron 3.5 Lightning、Qwen3.8-27B、Qwen3.8 Flash Next、GLM-5.3-Flash(GLM 强制双 rank)。不支持 GGUF 不是傲慢,是同一逻辑的代价面:每个家族都要维护自己的串行参考实现,任意权重格式进来,逐行验证就无从谈起。验证带宽是花钱的——这里是工程人力。

谱系位置

本号「部署坍缩第五路线·端侧引擎极」这条线记过:APXInf 24.3Hz(Jetson Thor)、FreeToken 284B 上游戏 PC(尾部 TTFT=可用性边界)、M5 Ultra 带宽理论账。TensorFold 补上的是这条线的验证维度:此前大家卷的是快,它卷的是「快得可复现」。对 agent 工作负载这不是玄学——回归测试、A/B 对比、失败重放,全都依赖输出可复现。Luna-TTS 那篇的结论「解码顺序也是接口」在这里再验一次:TensorFold 把解码顺序、batch 行、归约次序全钉死成接口契约。

另一个接点:DFlash2 是 z-lab 的 Qwen3.8-27B 草稿模型,DFlash 本尊(Block Diffusion for Flash Speculative Decoding)是千星项目——本号 Qwen3.8 生态解剖里记过 MTP 保真,现在草稿模型也成了可插拔组件(--drafter 参数),主模型永远全词表验证。

可打脸预测:12 个月内「exact decoding」从卖点变成端侧引擎的默认选项——agent 时代的本地推理,可复现性比 tok/s 更稀缺;0.3.5 官方测量发布时,社区实测的三个数字将被官方 fixture 口径重新定价。


*材料:仓库 README、recipe book、四个家族页全文逐条核对(contract/load-time check/draft vocab provenance/GB10 历史数字);外围搜索 vLLM DGX Spark 官方基线、DFlash 谱系、MLX 生态实测文。素材三数字未能溯源至官方仓库,按素材自带标注「社区单次实测」记账;sha256 位置订正如上。*

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

这篇最该夸的是那份自觉:「等 0.3.5 官方测量发布,以官方 fixture 口径为准」。结果等到了——帖子写完两天,0.4.0 和 0.5.0 同一天发出。

0.3.5 之后的官方数字

一:版本号已经走过期待值

仓库最新 tag 是 v0.5.0,发布于 2026-09-29 20:41;v0.4.0 同一天 18:50。两天两版。原帖写的那个 0.3.5,现在是历史版本号了。

二:官方数字来了,口径和社区传的不一样

0.5.0 的说明给了 Spark 上的实测(MLX 4 位 + DFlash2):

  • 27B、128k 上下文解码:18.4 → 38.9 tok/s;96k:23.6 → 45.9
  • 冷预填:128k 860 → 1173 tok/s;255k 545 → 809
  • 同样 NVFP4 权重下,从 32k 到 255k 每个深度上,预填是 vLLM 的 1.16–1.27 倍
原帖引的社区数字是「102.9 对 vLLM 34.9,快约三倍」。官方给的是预填、1.16–1.27 倍。指标不同(解码 vs 预填),倍数差一个量级。原帖那句「以官方 fixture 口径为准」现在有了对照面。

三:0.4.0 里有两条原帖没提的硬数字

  • M3 Ultra 上,8 行窗口的校验时间从 40.8 毫秒压到 31.9 毫秒,各宽度上离 4 位版只差 1–5%
  • oQ4e 的 Qwen3.8-27B 对 bf16 的 KL 是 MLX 4 位的一半,代价是多 6% 的字节
还有一条:64 GB Mac 上 32k 上下文的并发流从 0.3.x 的 4–9 提到 16。

四:容量表不是「全是 TBD」

README 那张表只有 64 GB 那一行有数(0.3.5.1 口径):Nemotron 140,288 token / 43.7 GiB;27B 152,576 / 39.9 GiB;Flash Next 262,144 / 42.2 GiB。GLM 那格写着「Not run: 4-bit weights exceed the budget」——64 GB 装不下 GLM 的 4 位权重。32/36/48/96/128/192/256 GB 六行确实全是 TBD。

五:「只四个家族」这条已经过时

0.5.0 的社区 PR 里补了 Qwen3.6-35B-A3B 在 CUDA 上跑 --parallel N,而且条件仍然是每条回复等于它的单跑。四个家族之外又进了一个。原帖发帖那一刻是对的,现在不是。

顺手更新仓库体检:663 星(原帖写 489)、Python、MIT、2026-06-19 建仓、142 次提交、27 个未关 issue。

下一根钉子

0.5.0 说明里有一句很硬的话——并行和后台优先级之下,「每条回复仍等于它的单跑」(each reply equal to its solo run)。张量那三条合同已经从「草稿-串行一致」扩到了「并发-单跑一致」。

接下来该盯两件事:官方什么时候把那份逐字节可复现的实测表放出来(目前 capacity 表还是大面积的 TBD),以及社区那两个数字会不会按官方 fixture(种子 1234–1238、64 token、取中位)重新定价。exact decoding 从卖点变成默认选项这一步,会先在基站的测量口径上显形,不会先在 star 数上显形。

暂无表态
合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens