量化的幻觉：当精度消失时，模型究竟丢失了什么？

一杯失味的咖啡

你走进常去的咖啡馆，点了一杯手冲耶加雪菲。咖啡师说："今天豆子烘浅了一点，水温调高了一度，研磨细了半格。"你抿了一口——嗯，还是咖啡，还是好喝。但老客会皱眉：花香味没了，尾韵短了，那股明亮的柑橘酸变成了钝钝的甜。

如果只用"是不是咖啡""好不好喝"两个指标来评判，这杯咖啡和昨天那杯几乎等价。但真正决定一杯咖啡灵魂的，是那些藏在细节里的分子构成。

大模型量化也面临同样的困境。

当你把一个 7B 参数的 LLM 从 16 位压缩到 4 位，体积缩到四分之一，推理速度翻倍，精度损失"看起来"只有 1-2 个百分点。一切似乎都很好。但 2026 年 7 月，来自曼尼托巴大学、红河学院和中佛罗里达大学的三位研究者——Baha Rababah、Cuneyt Gurcan Akcora 和 Carson K. Leung——发表了一篇论文《The Illusion of Equivalency: Statistical Characterization of Quantization Effects in LLMs》，他们用一个新指标撕开了这层"等价"的伪装。

论文的核心发现可以用一句话概括：量化后的模型，即使准确率和困惑度看起来没变，它在"答对哪些题"这件事上，已经悄悄换了一个人格。

量化从业者的老朋友：准确率与困惑度

先说清楚量化在干什么。

大模型的参数本质上是浮点数——通常是 16 位浮点（FP16）。量化就是把这些数压缩成更低的精度：8 位、4 位、甚至 2 位。好处显而易见：一个 7B 模型从 14GB 压到 3.5GB，普通显卡就能跑；推理速度提升 2-3 倍；能耗下降。代价是精度损失。

业界评估这个代价的方式，几十年来几乎没变：

• 困惑度 (Perplexity)：模型对一段文本的"困惑程度"，越低越好。衡量语言建模能力。
• 下游任务准确率：在 HellaSwag、Winogrande、ARC 这些基准上答对多少题。

这两个指标就像咖啡的"是不是咖啡"和"好不好喝"。它们能告诉你模型还能不能用，但说不清模型在"怎么用"这件事上变了多少。

论文做了一个很直白的实验。他们量化了四个模型——Llama-3.2-3B、Vicuna-7B、Mistral-7B、Llama-3.1-8B——使用 llama.cpp 的 legacy 量化（Q8_0、Q5_0、Q4_0）和 K-quantization（Q6_K 到 Q2_K），从 8 位一路压到 2 位。

结果在困惑度上：Llama-3.2-3B 的基线 PPL 是 2.300，Q8_0 是 2.303，Q5_0 反而降到 2.170，Q3_K 甚至降到 1.967。困惑度不仅没升，反而更低了。看起来量化让模型"更不困惑"了？

但在准确率上：基线 55.5%，Q8_0 是 53.4%，Q3_K 是 51.5%。确实在降，但降幅温和，似乎没什么大不了。

这就是"等价幻觉"的来源：表面指标太稳定了，稳定到让你以为什么都没变。

正确性协议：一个简单但锐利的新指标

论文的真正贡献是引入了一个叫"正确性协议"（Correctness Agreement, 简称 CA）的指标。它的定义简单得让人意外：

> 对于每一道题，基模型答对了，量化模型也答对了——这样的题占总题数的多少？

公式是：

$$\text{CA}(c; \theta, \mathcal{D}) = \frac{1}{M} \sum_{m=1}^{M} \mathbb{1}[z_m = 1 \land z_m^{(c)} = 1]$$

其中 $z_m$ 是基模型在第 $m$ 题上的对错标签（1 对 0 错），$z_m^{(c)}$ 是量化模型的标签。

这个指标有一个巧妙的性质：它永远小于等于两个模型准确率的最小值。也就是说，即使量化模型准确率和基模型一样高，CA 也可能远低于这个值——因为它们答对的可能是不同的题。

这才是关键：两个模型可以准确率相同，但答对的是完全不同的一批题。

实验数据令人不安。以 Llama-3.2-3B 为例：

量化方案	准确率	CA
Base	55.5%	—
Q8_0	53.4%	41.4%
Q6_K	52.9%	41.1%
Q5_0	52.6%	41.0%
Q4_K	52.1%	40.9%
Q3_K	51.5%	39.9%

看准确率：Q8_0 只比基线低 2.1 个百分点，似乎可以接受。但看 CA：只有 41.4%。这意味着基模型答对的 55.5% 的题里，有大约 14 个百分点（约 1/4 的正确答案）在量化后变成了错的。同时量化模型也答对了一些基模型答错的题，所以准确率看起来没怎么变。

模型不是"变差了一点"，而是"换了一批答对的题"。

这个发现对实际应用有直接冲击。想象你在用 LLM 做医疗诊断辅助：基模型在 100 个病例上答对 55 个，量化后答对 53 个。看起来只差 2 个。但如果这 53 个里有 14 个和基模型答对的不一样——也就是说，量化模型在 14 个病例上给出了和基模型不同的正确诊断，同时在另外 14 个基模型答对的病例上答错了——你能放心部署吗？

量化不是均匀的刀：Q/K 比 V/O 更脆弱

论文的第二个重要发现来自对注意力权重的结构性分析。

Transformer 的自注意力层有四个投影矩阵：Query (Q)、Key (K)、Value (V)、Output (O)。Q 决定"我在找什么"，K 决定"我能提供什么"，V 是实际的信息内容，O 是输出变换。

研究者把这四个矩阵在量化后的统计变化（均值、标准差、偏度、峰度）和分布差异（余弦相似度、欧氏距离、KS 统计量、KL 散度）都算了一遍。结果呈现出一个清晰的模式：

Q 和 K 投影对量化最敏感，V 和 O 相对稳定。

具体来说，在 Q3_K 和 Q2_K（3 位和 2 位量化）下：

• Q 和 K 的偏度剧烈波动，峰度崩塌，均值明显偏移
• V 保持了低峰度特征，结构相对完整
• O 虽然峰度最高，但直到最低位才出现明显退化

KL 散度的数据更直观：随着位宽降低，Q 和 K 的权重分布与基模型越来越远，而 V 和 O 的变化温和得多。

这个发现有一个很自然的类比。想象注意力机制是一个大型舞会：

• Q 是宾客的"寻人雷达"——"我想找懂机器学习的人"
• K 是每个人胸前的"身份标签"——"我是搞 NLP 的"
• V 是宾客实际能聊出来的内容
• O 是散场后整理出来的社交笔记

量化就像给整个舞会的灯光调暗。Q 和 K 依赖精细的匹配——雷达要能分辨"懂机器学习"和"懂机器修理"，标签要能区分"NLP"和"NLP 论文"。灯光一暗，这些精细匹配首先出错。而 V 和 O 更像是在记录已经发生的事，对光线没那么敏感。

论文由此提出了一个工程建议：未来的量化方法应该自适应分配精度——给 Q 和 K 更多比特，给 V 和 O 更少比特。 这比一刀切的均匀量化更合理。

量化的三个区间：安全、退化、崩溃

通过对 8 位到 2 位的完整扫描，论文识别出三个清晰的量化区间：

安全区（Q8_0 到 Q4_K）：统计指标几乎不变，困惑度稳定，但 CA 已经低于准确率天花板——行为漂移已经存在，只是被聚合指标掩盖了。

退化区（Q3_K）：偏度开始飙升，峰度开始崩塌，KL 散度急剧上升。CA 进一步下降。这是结构性破坏开始超过功能补偿的转折点。

崩溃区（Q2_K）：所有指标全面恶化。权重分布已经和基模型面目全非。模型在功能上已经不可信。

这个三分法对从业者很实用。现在大家选量化方案，基本是看"准确率掉多少能接受"。但论文的数据显示，Q4_K 的准确率可能只比 Q5_K 低 0.5 个百分点，但 CA 可能差好几个点。你以为只损失了 0.5% 的准确率，实际上你损失的是模型 1/4 的"决策身份"。

困惑度会撒谎

论文还有一个值得单独拿出来说的发现：困惑度和行为一致性之间存在脱节。

Llama-3.2-3B 在 Q3_K 下的困惑度是 1.967，比基线的 2.300 还低。按传统标准，这是一个"更好"的模型。但它的 CA 只有 39.9%，是所有方案中最低的之一。

这意味着什么？困惑度衡量的是模型对文本的概率估计，低 PPL 说明模型对测试文本"不意外"。但这种"不意外"可能来自量化引入的平滑效应——极端概率被压缩，所有预测都变得更"中庸"，整体 PPL 反而下降。但模型在具体题目上的判断力已经变了。

一个对一切都"不意外"的模型，不一定是一个判断力准确的模型。 它可能只是失去了对细微差别的敏感。

这让我想起一个心理学实验：给被试看一系列人脸照片，要求判断"这个人是否可信"。如果给被试戴上模糊眼镜，他们可能会说"都还行"——整体判断的"方差"降低了，但具体到每张脸的判断已经不可靠。低困惑度就像这种"模糊眼镜效应"。

工程洞察：这意味着什么

这篇论文对 AI 从业者有几个直接的实践启示：

1. 评估量化模型不能只看聚合指标。 准确率和困惑度是必要但不充分的。如果你的应用对"哪些题答对"敏感（比如医疗、法律、安全审核），应该加上 CA 或类似的 behavioral consistency 指标。

2. 量化方案的选择应该看 CA 拐点，而不是准确率拐点。 论文数据显示 Q4_K 是安全上界，Q3_K 开始退化。这个结论比"看准确率掉 2% 就停"更可靠。

3. 自适应量化有明确的方向。 Q 和 K 需要更高精度，V 和 O 可以更激进压缩。这为未来的混合精度量化提供了经验依据。

4. 低困惑度不等于好模型。 如果你看到量化后 PPL 反而下降，不要高兴太早——检查一下行为一致性。

5. 量化不是"无损压缩"的幻觉。 即使在 8 位量化下，CA 已经明显低于准确率天花板。每一次量化都在改变模型的决策身份，只是程度问题。

一个更深的思考：身份与能力

这篇论文让我想到一个哲学层面的问题：什么是一个模型的"身份"？

传统观点认为，模型的身份是它的能力——准确率多高、知道什么。只要这些不变，模型还是那个模型。

但这篇论文提出了另一种视角：模型的身份在于它在具体案例上的判断。两个准确率相同的模型，如果答对的是不同的题，它们就是两个不同的"决策者"。

这和人类专家的经验是一致的。两个医生可能都有 90% 的诊断准确率，但如果他们在具体病例上的判断经常分歧，你会说他们是"不同流派的医生"，而不是"等价的医生"。量化后的模型，本质上是一个"换了流派的医生"——它可能总体水平差不多，但在具体病例上的判断已经不同了。

对于追求可复现性、可审计性、可追责的 AI 系统，这种"身份漂移"是一个被严重低估的风险。你基于基模型的测试报告部署了一个量化版本，以为它们行为一致。但在 14% 的案例上，它们会给出不同的判断。其中一些差异可能在测试集上没暴露，但在真实世界的长尾分布中会突然出现。

量化的代价不是"变笨了一点"，而是"变成了另一个决策者"。 这个另一个决策者可能同样聪明，但它聪明的方式不一样。

论文信息

• 标题：The Illusion of Equivalency: Statistical Characterization of Quantization Effects in LLMs
• 作者：Baha Rababah, Cuneyt Gurcan Akcora, Carson K. Leung
• 机构：曼尼托巴大学、红河学院、中佛罗里达大学
• arXiv：2607.08734
• 量化框架：llama.cpp
• 测试模型：Llama-3.2-3B, Vicuna-7B, Mistral-7B, Llama-3.1-8B
• 测试基准：WikiText-2, C4, HellaSwag, Winogrande, ARC

---

*量化是工程现实，不是可以回避的选择。但这篇论文提醒我们：每一次精度压缩，都在改变模型的决策灵魂。下次你看到"量化后准确率只降 1%"的报告时，记得问一句：那 CA 呢？*