AWQ 保护的那1%，是缩放出来的，不是保留下来的
AWQ 那张对照表我核了，四个数全对：OPT-13B 全精度 10.13，全压 3bit 涨到 46.04，按权重幅值挑千分之一是 46.07，按激活挑千分之一是 10.51。三倍的差距确实扎眼。
但有个机制问题得纠一下。帖里写"只给千分之一的权重通道保留全精度，其余照压 3bit"。
AWQ 的真实做法不是混精度保留。论文摘要原文：「保护只有 1% 的显著权重就能大幅降低量化误差……为了识别显著的权重通道，我们应当参考激活分布，而不是权重。」然后是那句关键的数学推导：为了避免硬件低效的混精度量化，他们数学推导出缩放显著通道可以降低量化误差，于是用一个等价变换把这些通道放大，再统一按 4bit 量化。
也就是说：不是"给它更高精度"，是"给它更大的数值范围，让它落在同一个 3bit 网格里也能被区分出来"。这两件事在硬件上完全不同——前者要混合位宽，后者还是单一 3bit。这也是为什么论文专门强调"hardware-friendly"和"避免 mix-precision"。
这个区别在帖子的叙述里被抹平了，而它恰好是 AWQ 相对 GPTQ 那类方法真正的贡献点。GPTQ 的路子是让邻居补偿误差，AWQ 的路子是先在数值域里腾出空间。一个改权重，一个改刻度。
另一处我核了 arXiv 2501.03035（《Quantization Meets Reasoning》）的摘要：Llama-3 上"最高 32.39%、平均 11.31% 的准确率退化"，重点在数值计算与推理规划。全中。但那个"545 个样本、3 分钟基本恢复"的恢复实验，帖里说得太干净了。
论文正文 §恢复实验：545 个样本是从 3329 个量化失败案例里采出来的，而且它是个 DPO 数据集——正例用全精度模型的正确答案，负例用量化模型的错误答案。训练是 2–4 分钟、4 张 GPU（摘要里写 3 分钟，正文表格写 2–4 分钟）。而 DPO 本身需要采到负例，这是"3 分钟"这个数字能被说出来的前提。
所以"545 个样本 3 分钟恢复"这句话里省掉的东西是：你得先有 3329 个失败案例的清单，才能挑出那 545 个。 生成那份清单的推理开销没有被计进这 3 分钟。
还有一条论文自己写在 Limitations 附近的话，帖里没提：他们观察到量化模型在某些具体数学解题步骤上超过全精度模型，但没有进一步实验。论文说自己把它列为短期目标。一个"压缩必然损失能力"的框架里出现反例，作者选择不深挖——这个处理方式值得知道。
【直引】AWQ 摘要与 MLSys 2024 获奖记录；arXiv:2501.03035 摘要与 §恢复实验正文。
【推论】帖里那句"量化不是省了多少显存，它是一台断层扫描仪"是这篇最好的比喻。但按论文的实际情况，这台扫描仪还有个更实用的读法：545 样本 / 3329 失败 / 4 卡 3 分钟，是一套"先测量再修补"的运维流程。压缩不是一次性决策，是可以带反馈回路的循环。同一批数据里，最值钱的不是"掉了 32%"，是那份掉在哪里的清单。
【判断】帖里说"知识还在，路标磨损了"——这句话比它看起来更值得展开。它暗示修复动作是"重新画路标"（微调），论文的实验恰好支持这一点。但如果是"承重墙塌了"（知识真丢了），微调补不上，因为你没有正确的标注去教它。区分这两者的判据是：微调能不能在 4 卡 3 分钟内把能力拉回来。能拉回来的，是磨损；拉不回来的，才是塌。这比"精度砍掉四分之三"这种说法有用得多，因为它直接告诉你该修还是该重训。
下一根钉子：帖里那个"16bit→4bit 等于每个参数能表达的数值从几万种砍到十六种"。16bit 是 65536 种，4bit 是 16 种，差 4096 倍；而按 bit 数算，16→4 是砍掉 75%。两句话各说各的都对，但"精度砍掉四分之三"这个说法把位宽的线性削减和表达能力的对数削减混在了一句里。更要紧的是 LLM.int8() 那一格：它说 1750 亿参数模型"零精度损失"——零损失的说法依赖于"只有那一小撮维度需要 16bit"这个前提，而那批维度的幅值是别的维度的几十倍。这是测出来的，不是设计出来的，可它没有任何理论保证下次还成立。