四百二十一兆的减法——一个快思考模型的极限生存报告 [arXiv:2611.26339]
你是一名部署工程师。你的服务器上运行着一个 421M 参数的 AI 决策模型,每次请求做一次前向传播,响应时间几毫秒,准确率在可接受范围内。你的老板对你说:能不能让它更小一点?我们的云账单有点高。
目录
四百二十一兆的减法——一个快思考模型的极限生存报告
⚖️ 一个工程师的日常难题
你是一名部署工程师。你的服务器上运行着一个 421M 参数的 AI 决策模型,每次请求做一次前向传播,响应时间几毫秒,准确率在可接受范围内。你的老板对你说:能不能让它更小一点?我们的云账单有点高。
你有很多选择:把参数从 32 位浮点降到 16 位(bf16);把权重四舍五入到 8 位、6 位、甚至 4 位整数;删掉一些层;把词汇表裁短一点;或者用蒸馏训练一个更小的模型。每一种方法都能减小模型体积、加快推理速度——但每一种方法都可能让模型的输出发生变化。
问题是:变多少才算\"太多\"?
这个看似简单的问题,实际上困扰了整个模型压缩领域多年。大多数压缩论文用\"准确率下降了多少\"来衡量压缩的代价——但在很多实际场景中,准确率的微小变化并不能反映模型行为的真正变化。一个模型可能准确率只下降了 0.1%,但完全不同的那 0.1% 的样本恰好是你最关心的。
Intel 的 Mohammed Nayeem Khan 和 Vrishank Tiwari 在 Sirius-Tiamat 中选择了一个更直接、也更令人不安的度量:决策翻转(decision flips)。不问\"模型还准不准\",而是问\"模型的答案变了没有\"。他们拿 Laya——一个 421M 参数的决策编码器——做了一系列压缩实验,结果写成了一份详尽的\"极限生存报告\"。
🤖 Laya:被解剖的对象
Laya 是一个类型化决策模型(typed decision model),由 Intel 发布。它的工作方式是:读一段文本、一个问题和若干个命名选项,一次前向传播输出每个选项的概率。不生成任何文本,不做推理——纯粹的 System One。
技术上,Laya 基于 ModernBERT-large 编码器:28 层 Transformer,宽度 1,024,GeGLU 前馈网络,16 个注意力头,旋转位置编码。注意力是混合的——每三层中有两层使用窗口注意力(128 token),一层使用全局注意力(第 0、3、6、9、12、15、18、21、24、27 层)。在编码器之上,还有一个两层的 Transformer \"选项头\",一个把隐状态映射为 logit 的评分器,以及一个小型行为头。每种问题类型有自己的温度参数,把 logits 转换为概率。
总共 421,293,830 个参数。编码器占了 81%。发布的 checkpoint 以半精度存储,文件大小 804 MiB。
这个模型已经被社区广泛使用了——研究团队在 Hugging Face 上找到了至少九个社区 int8 构建版本(ONNX、OpenVINO、MNN 导出),三十多个 ONNX 转换,以及单独的 fp16 和 int4 变体。但没有任何一个社区构建附带了对决策变化的评估。 大家都在用压缩版的 Laya,但没有人知道压缩后的 Laya 还是不是原来那个 Laya。
这就是 Sirius-Tiamat 要回答的问题。
Sirius-Tiamat 这个名字本身就很有意思——Sirius(天狼星)是最亮的恒星,Tiamat(提亚马特)是美索不达米亚神话中的原始咸水女神。一个是光明的象征,一个是混沌的象征。也许作者在暗示:在压缩的星空中,光明与混沌之间的距离比想象中近。
📏 度量:比准确率更诚实的标尺
Sirius-Tiamat 的核心方法论创新在于它的度量选择。
决策翻转:压缩后模型的输出与原始 fp32 模型的输出不同的比例。注意,不是与\"正确答案\"不同——而是与\"原来的模型\"不同。这个度量的选择非常聪明:它衡量的是压缩本身引入的变化,而非模型固有的错误。如果原始模型在某个问题上就答错了,压缩后的模型也答错同样的答案,那不是翻转——那是一致地错。
这个度量在实际部署中至关重要。想象一个已经上线运行的 AI 系统,你用压缩版模型替换了原始模型。用户的体验变化不是\"准确率从 95% 降到了 94%\"这种统计意义上的变化,而是\"上次问这个问题它说 A,这次说 B\"这种具体而可感知的变化。如果翻转率太高,用户的信任就会被破坏——即使平均准确率可能并没有显著下降。
更进一步,翻转率的分布通常不是均匀的。Hooker 等人在 2019 年的研究(被 Sirius-Tiamat 引用)发现,压缩后的网络即使准确率与原始网络相当,也会在一小部分特定样本上产生分歧。这些样本通常是模型本来就没那么确定的"边界案例"——它们就像悬崖边上的石头,轻轻一推就会滚落。如果你恰好依赖模型在这些边界案例上的表现(比如医疗诊断中的疑难病例、法律审查中的边缘情况),那么翻转率对你的影响远大于平均准确率所暗示的。
校准误差(ECE):模型报告的置信度与实际准确率之间的差距。一个校准良好的模型,当它说\"我有 80% 把握\"时,确实在 80% 的情况下是对的。校准对决策模型尤其重要——因为下游系统通常根据置信度来做阈值判断或路由决策。
域内 vs 域外:测试数据分为三类——1,221 个训练 schema 内的合成项目(\"域内\")、273 个未见 schema 的项目(\"域外但相关\")、800 个公开基准问题(ARC、MMLU、HellaSwag,\"域外不相关\")。这个三分法是整个研究最有洞察力的设计之一——它让我们看到,在熟悉的领域表现良好的压缩方案,在不熟悉的领域可能表现糟糕。
🔧 六种压缩旋钮
Sirius-Tiamat 测试了六种压缩方法,每一种都有详细的参数扫描。
精度降低:把权重从 fp32 降到 bf16 或 fp16。这是最常见的压缩方式——几乎无损,体积减半。结果显示:在域内合成数据上,bf16 只改变了 0.2% 的决策。听起来很好。但在域外基准问题上,这个数字跳到 2.2%——十倍的增长。
权重量化(舍入):把权重四舍五入到更少位数——8 位、6 位、5 位、4 位整数。这里的关键变量是缩放粒度:每个 tensor 一个缩放因子、每个 channel 一个缩放因子、还是每 32 个权重一组一个缩放因子。结果显示:缩放粒度比位数更重要。在 4 位量化下,每 tensor 一个缩放因子导致 76% 的决策翻转——模型几乎完全变了。每 channel 一个缩放因子是 9.6%。每 32 个一组是 5.5%。
76% 意味着什么?意味着每四个决策中就有三个与原来不同。这个模型几乎变成了一个随机数生成器。而这一切都发生在\"仅仅\"把每个权重从 32 位浮点压缩到 4 位整数的过程中——如果不仔细选择缩放粒度的话。
为什么缩放粒度如此重要?直觉是:一个 tensor 中不同 channel 的权重分布差异很大——有的 channel 权重值很小,有的很大。如果用同一个缩放因子,小权重的精度损失会非常大,可能被舍入到零。每个 channel 有自己的缩放因子,每个 channel 内的相对精度就能保持。分组舍入更进一步——在 channel 内部再细分。这就是 76% 和 9.6% 和 5.5% 的差距来源——不是算法不同,只是一个超参数的选择。
层删除:直接砍掉 Transformer 的顶层。结果发现:砍掉前 6 层,域内翻转率不到 1%——听起来很好。但概率分布已经严重偏移:ECE 从 5.9% 飙升到 39.2%。模型仍然选同样的答案(在域内),但它对每个答案的置信度已经完全不可信了。
层删除的一个关键发现是方向性:从顶层往下砍和从底层往上砍效果完全不同。顶层(高层)对最终决策的影响相对较小——它们更像是"精修"层,负责在底层提取的特征之上做最后的调整。底层(低层)则承担着基础的特征提取——如果你砍掉它们,模型就失去了理解输入的能力。这与计算机视觉中的发现一致:神经网络的早期层学习低级特征(边缘、纹理),后期层学习高级特征(物体、场景)。
动态 int8:PyTorch 的默认 int8 推理。结果触目惊心:30% 的决策翻转。进一步分析发现,几乎全部翻转来自一个特定的层——前馈网络的输出投影。如果保持这一层为 fp32,翻转率降到 2.9%。一个层的量化选择决定了整个模型的行为是否保持稳定。
这个发现对实际部署有重大意义。很多工程师可能在使用 PyTorch 的默认 int8 推理或社区的量化导出(ONNX、OpenVINO、MNN),却不知道它们可能引入了大量的决策翻转。Sirius-Tiamat 的发现是:量化不是一个可以"设置好就忘掉"的操作——它需要逐层的仔细检查和验证。
早期退出(Early Exit):不在所有层上运行,而是当模型足够自信时提前退出。这个想法的直觉是:简单的问题不需要所有层。但结果显示,只有当退出门槛经过重新校准后,早期退出才能比静态层删除节省更多层。用原始置信度作为退出信号的早期退出反而比静态删除更差。
具体数字是:在 1% 域内翻转率的约束下,静态删除需要保留 22 层;用原始置信度的早期退出需要 22.8 层(更差——因为置信度在层删除后不再可靠,过早或过晚地触发了退出);而经过重新校准的置信度只需要 20.4 层(更好)。这个 1.6 层的差距看起来不大,但在大规模部署中,每少一层都意味着更低的延迟和更高的吞吐量。
蒸馏:从原始模型训练一个更小的学生模型。12 层学生(砍掉 16 层)如果不蒸馏,域内翻转率 44%。经过两个 epoch 的蒸馏后,翻转率降到 9%。但域外翻转率仍然高达 45%——蒸馏让学生学会了在训练分布内模仿教师,但在分布外,学生走自己的路。
蒸馏的这些数字值得仔细品味。44% 到 9% 的改进是巨大的——蒸馏确实把教师的知识有效地转移到了学生身上。但 45% 的域外翻转率意味着:如果你用蒸馏来压缩一个部署中的模型,将近一半的域外决策将发生变化。这不是说蒸馏后的模型更差——它可能同样准确,甚至更好(蒸馏有时能提高泛化能力)。但它是一个不同的模型,不是一个更小的同一个模型。
💥 核心发现:一个令人不安的形状
把所有实验数据放在一起,浮现出一个一致的模式——论文称之为\"headline 是一个形状\"。
域内数字严重低估了翻转率。 这是整个研究最重要的发现。几乎在所有配置下,域外基准问题的翻转率都是域内的数倍:
| 压缩方式 | 域内翻转 | 域外翻转 | 倍数 |
|---|---|---|---|
| bf16 | 0.2% | 2.2% | 11x |
| 6-bit 分组舍入 | 1.3% | 5.9% | 4.5x |
| 4-bit 分组舍入 | 4.3% | 21.4% | 5x |
| 删除 6 层 | 0.9% | 9.1% | 10x |
为什么域外翻转率更高? 论文在第 14 节提供了线索。在权重量化(舍入)的情况下,决策翻转与总变差(total variation)——压缩前后概率分布之间的距离——有很强的相关性。但在层删除的情况下,这种相关性消失了。这说明量化通过均匀地扰动所有决策边界来引入翻转,而层删除则通过移动决策边界本身来引入翻转——后者对域外数据的影响更大,因为域外数据更依赖模型的\"推理能力\"而非\"记忆能力\"。
为什么域外翻转率更高? 论文在第 14 节提供了线索。在权重量化(舍入)的情况下,决策翻转与总变差(total variation)——压缩前后概率分布之间的距离——有很强的相关性。但在层删除的情况下,这种相关性消失了。这说明量化通过均匀地扰动所有决策边界来引入翻转,而层删除则通过移动决策边界本身来引入翻转——后者对域外数据的影响更大,因为域外数据更依赖模型的"推理能力"而非"记忆能力"。
还有一个有趣的发现:边际量(margin)——正确选项与次优选项之间的概率差——可以预测哪些项目会在压缩下翻转。fp32 边际量对 4-bit 分组舍入的翻转项目排序达到了 AUROC 0.91——这意味着你只需要原始模型的输出概率,就能高置信度地预测哪些项目在压缩后会改变答案。这个发现在实践中极其有用:你可以在不实际运行压缩模型的情况下,先标记出高风险项目,然后只对它们使用原始模型。
温度修复:一个几乎免费的奇迹。 层删除后 ECE 从 5.9% 飙升到 39.2%——模型的置信度报告完全不可信了。但用一个拟合的温度参数(temperature scaling)就能修复:不需要标签,只需在校准数据上拟合一个标量,ECE 就从 39.2% 降到 3.6%。有标签时更低:2.8%。这意味着层删除破坏的不是模型的\"决策能力\",而是模型的\"自信校准\"——而校准可以通过一个简单的后处理步骤恢复。
但温度修复有一个重要的限制:它只修复校准,不修复翻转。温度校准后模型的置信度报告又可信了("我有 80% 把握"确实意味着 80% 的正确率),但模型的答案仍然可能与原始模型不同。这是一个微妙的区别:校准修复的是"模型对自己的评估",而不是"模型的实际输出"。如果你的下游系统依赖置信度做路由或阈值判断,温度修复足够。但如果你的系统关心的是"答案是否与原来一致",温度修复无能为力。
温度的直觉很简单:层删除后,模型的 logits 被拉伸或压缩了——概率分布变得更尖锐或更平坦。温度就是一个乘数,把 logits 调回到正确的范围。不需要重新训练,不需要额外的层,只需要一个数字。
同等大小下,舍入优于删除。 在 600 MiB 的存储大小下,最佳舍入配置只翻转 1.5% 的决策,而最佳层删除方案翻转 11.9%。在 453 MiB 的最优配方中(8-bit 每 channel 舍入 + bf16 权重),翻转率进一步降低。这个结论与 Kuzmin 等人 2024 年的发现一致:量化通常优于剪枝。
🏛️ TF-IDF 的羞辱
论文的最后一部分是最具挑衅性的:作者用经典的 TF-IDF 加逻辑回归,在六个共享任务上与 Laya 对比。TF-IDF 是一个几乎没有\"智能\"的方法——它统计词频,然后用一个线性分类器。没有任何 Transformer,没有任何注意力机制,没有任何预训练。
结果:TF-IDF 在六个任务上得分 89.9%,而微调的 Laya 得分 84.2%。TF-IDF 的体积只有 2.3 MiB(vs Laya 的 804 MiB),推理速度每项目 1.2 毫秒(vs Laya 的几毫秒)。
这不是说 Laya 没用——Laya 在更复杂的任务上可能仍然优于 TF-IDF。但这个结果是一个清醒的提醒:在很多实际应用场景中,你可能根本不需要一个深度模型。在你投入大量资源优化和压缩一个 Transformer 之前,也许应该先试试一个统计方法——它可能更小、更快、更稳定,而且可能更准确。
2.3 MiB 和 804 MiB——三百五十倍的体积差距。89.9% 和 84.2%——五个百分点的准确率优势。在这个特定的任务集上,TF-IDF 不仅赢了,而且赢得轻松。这个结果的深层含义是:在决定使用什么模型之前,应该先理解问题的本质——如果问题本质上是"哪些词重要",那么统计方法可能比深度学习方法更合适。深度学习不是万能药,它是一个在某些类型的问题上表现优异的工具,而在其他问题上可能大材小用甚至适得其反。
📋 配方卡:实用主义的精华
论文的实用主义精神在\"配方卡\"(recipe card)中达到顶峰——一张列出不同体积/质量权衡的速查表:
Tier A(最稳健):8-bit 每 channel 舍入 + bf16 权重,453 MiB,域内翻转率最低。
Tier B(平衡):6-bit 分组舍入 + bf16 权重,更小体积,可接受的翻转率。
Tier C(激进):删除顶层 + 温度校准,最小体积,但域外翻转率显著。
Tier D(不推荐):每 tensor 一个缩放因子的低位数量化、删除底层、动态 int8 不做逐层检查。
这张配方卡的价值不在于它给出的具体数字——这些数字是针对 Laya 这个特定模型的——而在于它的方法论:系统性地扫描压缩空间,在每个点上测量翻转率和校准误差,然后为不同的使用场景推荐不同的配置。
对于部署工程师来说,这张配方卡是一个决策框架:你的约束是什么?如果云账单是主要约束,你可能选择 Tier B 或 Tier C。如果用户信任是主要约束(答案的稳定性最重要),你应该选择 Tier A。如果你需要最小体积且能接受域外翻转(比如内部工具、非关键路径),Tier C 的温度校准方案可能合适。如果你只是想快速试一个量化方案,Tier D 的警告就是给你的——不要做。
🪞 冷静的时刻
第一,数据全是合成的。 所有 1,494 个域内合成项目和 273 个未见 schema 项目的标签都是 LLM 生成的,合成项目来自同一个生成器。这意味着\"域内\"和\"域外\"的区别可能比真实世界中更模糊——真实世界的数据分布可能比合成数据更复杂、更多样。
第二,只测试了一个架构。 论文在 mmBERT-base 上做了一些复制实验,发现舍入行为相似但层删除行为差异很大(6 层删除:Laya 21.4% vs mmBERT 3.7%)。这意味着配方卡的数字不能直接迁移到其他模型——每个模型都需要自己的压缩体检。
第三,没有 GPU 计时。 论文明确列出了\"没做的事\":GPU 计时、空闲机器的 CPU 计时、量化感知训练、层 dropout、真实的非合成部署数据。这些都是后续研究的方向。
第四,公开基准上的表现值得玩味。 Laya 在 ARC、MMLU 和 HellaSwag 上的表现接近随机——这不是压缩的错,而是模型本身的局限。它训练于特定类型的合成数据,公开基准对它来说是一个完全不同的世界。论文诚实地指出:公开基准行是\"压力测试\"而非\"能力基准\"——它测量的是压缩对模型行为的扰动,而非模型有多好。
📚 结语
Sirius-Tiamat 不是一篇提出新算法的论文——它是一篇测量论文,一种在压缩领域极为罕见但在工程上极为必要的研究类型。它不告诉你\"怎么压缩更好\",而是告诉你\"压缩的代价到底是什么\"。
它的核心信息可以用一句话概括:压缩的代价比你想象的大,而且比你测量的大——如果你只在域内测试的话。
在 GLiDE 展示了我们如何锻造一个快思考者、MM-SystemOneBias 展示了我们如何检视它的偏见之后,Sirius-Tiamat 展示了当我们试图把它变小时会发生什么。三篇论文 together 构成了快思考技术的完整生命周期:铸造、检视、极限。
这个极限的结论,带着一点存在主义的凉意:一个 421M 参数的决策模型,在某些压缩配置下会变成一台随机数生成器;而一个简单的 TF-IDF 分类器,在特定任务上可能做得更好。在追求更大、更强、更复杂的 AI 的道路上,也许我们都应该偶尔停下来问一句:我们需要的可能不是一个更聪明的模型,而是一个更简单的方案。
Sirius-Tiamat 的方法论——预测先行(每个实验前写下预期结果,事后对比)、噪声地板(测量浮点不确定性导致的翻转,确保观测到的翻转超过噪声)、多检查点复制(在不同 backbone 上验证结论的普适性)——为模型评估研究树立了一个标杆。它不追求炫技的新算法,而是把已有的工具用好、测准、测透。在一个人人都在发明新架构的时代,这种"测量员"精神可能比新算法本身更稀缺。
而这个极限的结论,带着一点存在主义的凉意:一个 421M 参数的决策模型,在某些压缩配置下会变成一台随机数生成器;而一个简单的 TF-IDF 分类器,在特定任务上可能做得更好。在追求更大、更强、更复杂的 AI 的道路上,也许我们都应该偶尔停下来问一句:我们需要的可能不是一个更聪明的模型,而是一个更简单的方案。
参考文献
Khan, M. N., & Tiwari, V. (2026). Sirius-Tiamat: How Small Can a One-Pass Decision Encoder Get Before Its Decisions Change? arXiv:2611.26339.
Li, Z., et al. (2026). Jev-1 Technical Report. TypeSafe.
Warner, B., et al. (2024). Smarter, Better, Faster, Longer: A Modern Bidirectional Encoder for Fast, Memory Intensive, and Long Context Finetuning and Inference. ModernBERT.
Dutta, et al. (2025). Decision flips under compression. arXiv.
Almeida Felicio, et al. (2025). Flip rate and total variation for compressed language models. arXiv.
Wu, et al. (2025). Quantization shrinks decision margins. arXiv.
Blagojevich and Sunderland. (2025). Noise floor for quantization comparisons. arXiv.
FastJEV. (2025). Layer pruning for multimodal decision models. arXiv.
Sajjad, H., et al. (2023). Effectively Fine-tuning Language Models Using Only 0.5% of Parameters. EACL 2023.
Fan, A., et al. (2020). Reducing Transformer Depth on Demand with Structured Dropout. ICLR 2020.
Sanh, V., et al. (2019). DistilBERT, a distilled version of BERT. NeurIPS 2019 Workshop.
Dettmers, T., et al. (2022). LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale. NeurIPS 2022.
Kuzmin, A., et al. (2024). Pruning vs Quantization: Which is Better? NeurIPS 2024.
Gromov, A., et al. (2024). The Incredible Shrinking LLM. ICLR 2024.
Chen, S., et al. (2024). ShortGPT: Layers in Large Language Models are More Redundant Than You Expect. ICML 2024.
*解读:小凯 | 2026-11-21*
#每日论文 #arXiv #模型压缩 #量化 #决策模型 #校准 #小凯