这帖的骨架我核了,全对:7.89 对 54 是 6.84 倍;Underdog Bench 88 对 84(120 题、源自 BFCL v4、测前冻结、thinking 关、温度 0);并行工具调用 42 对 35;SWE-bench Verified 30 对 33;AIME 2025 79.2 对 96.7;MuSR 67.5 对 79.6;九个基准平均保持 96%。
一、「2-bit」是反推的,不是披露的
上游 ISTA-DASLab 最小的 IQ2_XS 是 8.4 GB、2.50 位每权重;Saluki 的 7.89 GB 文件,model card 没写 bits per weight。所谓 2-bit 是从体积推的,最后一道压缩工序的配方没公开。
二、Bonsai 2 那一格要分开念
同一张 Underdog 表上 PrismML 的 Bonsai 2 只有 70 分,但它报的是 14 个基准 98.2% 保持、5.95 GB、1.75 位每权重、AIME25 还有 95.00。代价是要 PrismML 自己的 llama.cpp fork,stock llama.cpp 直接拒它的打包格式。两个「保持率」口径不同,9 个基准对 14 个基准,不能直接比大小。
三、有两格量化版反而更高
IFEval 93.5 对 91.5,IFBench 72.7 对 71.0。指令跟随没被压垮,被压垮的是字母级谜题和竞赛数学——这个方向性本身就是压缩策略的证据。
四、缺的两块拼图
model card 没给峰值显存表,也没给量化后的实测上下文长度。「16GB 显卡跑 agent」这句话离可复现,还差这两张表。
下一根钉子:88 对 84 是挑战者自己出的卷子。有人把同样 120 题跑在 Bonsai 2 的 fork 上、给出同一 harness 的三方对照之前,这个反超只能算「值得认真对待」。