BWLA：当你把LLM的权重"拧"成双峰分布——一场关于信息几何的后训练量化革命

一、从一个具体的、看似荒谬的问题开始

好，让我先问你一个问题。假设你有一堆数字，它们的分布看起来像一个钟形曲线——中间高，两边低，大部分人扎堆在平均值附近。现在我要你把每个数字映射到两个值之一：-1 或 +1。你怎么做？

最自然的做法：大于0的映射到+1，小于0的映射到-1。听起来合理对吧？但问题在于，如果你的钟形曲线中心在0附近，那大部分数字都挤在0附近。+0.1变成+1，-0.1变成-1。误差是0.9。你损失了大量的信息。

这就是今天LLM二值化量化的核心困境。LLM的权重——那些决定模型行为的数以千亿计的参数——它们的分布恰好就是单峰的准高斯分布。直接二值化？灾难。

但等等。如果我能让这些数字的分布变成双峰的呢？两个尖峰，一个在-1附近，一个在+1附近。那样映射到{-1, +1}就几乎是完美的。误差趋近于零。

问题是：怎么把单峰"拧"成双峰？而且是在不重新训练模型的前提下？

这就是BWLA（Binarized Weights and Low-bit Activations）回答的问题。作者Zhixiong Zhao、Zukang Xu、Dawei Yang的工作，在我看来是一场关于信息几何的小型革命。

二、问题的本质：不是比特数，是分布形状

让我把核心洞察讲清楚，不用任何术语。

量化不是一个"压缩"问题。压缩是你有100MB的文件，想把它变成10MB。量化是你有一堆实数，想用最少的比特表示它们，同时保留模型的行为。

关键洞察：比特数不重要，分布和码本的匹配度才重要。

想象你有两个盒子。一个盒子里的弹珠大小随机分布在1厘米到2厘米之间。另一个盒子里的弹珠只有两种大小：0.9厘米和2.1厘米。现在我问你：用"小"和"大"两个标签分类，哪个盒子更容易？

第二个。因为弹珠天然聚集在两个分离的区域。

BWLA的核心思想就是这个：LLM的权重本来像第一个盒子（单峰分布），我们要把它变成第二个盒子（双峰分布），然后二值化就自然成立了。

论文里的原话很精准：

> "A bimodal distribution aligns naturally with the binary codebook ({−1,+1}), forming two distinct clusters that theoretically minimize quantization error."

这就是我说的"货物崇拜检测"时刻。很多人追求"1-bit weights"这个数字本身，好像1-bit是个魔法目标。但1-bit不是魔法，匹配码本的分布才是。如果你不懂这一点，你就是那个用竹子做控制塔的人——形式上对了，飞机不会来。

三、OKT：用正交变换"拧"分布

好，现在讲BWLA怎么做到这个"拧"的动作。

技术上说，BWLA有两个核心组件。第一个是OKT（Orthogonal–Kronecker Transformation）。让我用一个类比解释它。

想象你有一张皱巴巴的纸，上面画了一个钟形曲线。你想把它"拧"成两个山峰。怎么做？你可以旋转它、拉伸它、折叠它。但你必须保持纸的面积不变——信息不能凭空产生或消失。

正交变换就是这个"旋转"。它在数学上的美妙性质是：R^{-1} = R^T。也就是说，旋转的逆就是它的转置。这意味着你可以先旋转（变换权重），做二值化，然后在推理时再旋转回来（用R^T），模型的输出完全不变。

这就是论文里说的"preserving forward-pass equivalence"。

但正交矩阵很大。对于一个4096×4096的权重矩阵，正交矩阵也是4096×4096，存储和计算都是问题。OKT的聪明之处在于Kronecker分解：把一个大正交矩阵分解成两个小矩阵的外积。

Kronecker积是什么？想象你有一个2×2的图案，你想把它铺满一个4×4的区域。Kronecker积就是这个操作。数学上，如果你有两个小正交矩阵H和R，它们的Kronecker积H⊗R仍然是一个正交矩阵，但参数数量从n²降到了n₁² + n₂²，其中n₁×n₂ = n。

论文里选的分解是n₁/n₂ = 1，也就是两个相同大小的矩阵。这让计算开销和内存开销几乎可以忽略不计。

EM风格的条件最小化

OKT还有一个漂亮之处：它的优化是"梯度自由"的，用EM（Expectation-Maximization）风格的条件最小化。什么意思？

E-step：给定当前的旋转，把权重分配到两个聚类中心（-1和+1）。 M-step：给定聚类分配，找到最优的旋转矩阵。

迭代这个过程，直到收敛。不需要反向传播，不需要端到端训练。这就是为什么它能在PTQ（后训练量化）场景下工作——你只需要几十次轻量级迭代，而不是几小时的梯度下降。

实验数据：LLaMA2-7B的OKT+PSP总优化时间仅需0.10小时。相比之下，OmniQuant需要1.6小时，OSTQuant需要0.3小时。BWLA比OmniQuant快16倍，比OSTQuant快3倍。

四、PSP：用SVD吸收"顽固分子"

OKT把大部分权重拧成了双峰分布。但总有一些"顽固分子"—— outliers，异常值，无论怎么旋转都偏离双峰中心很远。

BWLA的第二个组件PSP（Proximal SVD Projection）就是处理这些顽固分子的。

核心思想：用一个低秩矩阵来吸收残余误差。具体来说：

1. 在OKT变换后的坐标空间里，计算残余误差 2. 用一个低秩矩阵M来近似这个误差（通过截断SVD） 3. 把M加到二值化权重上，作为"修正项"

SVD（奇异值分解）是什么？想象你有一个照片（矩阵），想用最少的"基础图案"来重建它。SVD找到这些基础图案，按重要性排序。截断SVD就是只保留最重要的几个基础图案，丢弃噪声。

PSP的"近端"（Proximal）是什么意思？它用一个上界来近似优化目标，保证每次迭代都单调下降目标函数。不需要手动调学习率——优化自己知道该走多大步。

论文里PSP的秩比例（rank ratio）是0.005。也就是说，对于4096×4096的矩阵，秩只有约20。额外的参数量不到0.5%。但效果呢？

从实验图来看，加上PSP后，残余的outliers被显著抑制，双峰分布的对称性大幅提高。

五、为什么同一变换可以同时处理权重和激活

这是BWLA里最让我拍案叫绝的一个细节。

OKT对权重做变换：W̃ = R^T · W。二值化后再逆变换回去：W_deq = binarize(W̃) · R。

因为R^{-1} = R^T，这个前向传播是完全等价的。

但激活怎么办？LLM里另一个大问题是激活的异常值——那些特别大或特别小的激活值，在低bit量化时会造成灾难性误差。

BWLA的答案是：同一个R^T也可以应用于激活。

为什么？因为在Transformer的前向传播中，激活X和权重W通过矩阵乘法交互：Y = X · W。如果我们对W做了正交变换，那对应的激活也应该做同样的变换，才能保持计算的一致性。

这就是论文里说的"the same transformation can be applied to activations while preserving forward-pass equivalence"。

这个对称性太漂亮了。不是两个独立的技巧，而是一个统一的正交框架，同时解决了权重分布问题和激活异常值问题。

六、实验结果：当竞争对手崩溃时，BWLA站着

好，让我给你看一些具体的数字。不是泛泛而谈，是论文里的真实结果。

6.1 权重-only二值化（A16）

当激活保持16-bit时，BWLA相比SOTA二进制PTQ方法：

啊，我搞错了。论文里Table 1的列顺序是：Bits(W) | Bits(A) | 然后是各种指标。让我仔细看...

实际上，从论文的描述来看，关键比较是准确率（accuracy）。BWLA"improves average accuracy by 13% and reduces perplexity by 28% compared with current state-of-the-art binary methods"。

在A6（6-bit激活）这个更难的设置下，差距被显著放大：

• BWLA在LLaMA上实现高达37%的困惑度降低
• 在Qwen3上，BiLLM和ARB-LLM"nearly collapse"（几乎崩溃），而BWLA保持强劲性能
• BWLA的有效权重精度只增加了不到0.1 bit

6.2 指令模型的推理能力

这是真正让我震惊的一组实验。Qwen3-32B-Instruct，三种推理benchmark：MMLU、HumanEval、GSM8K。

FP16激活时：

• BWLA保留约 75% 的全精度性能
• 甚至超过3-bit GPTQ，而内存占用不到GPTQ的一半

• 现有方法几乎完全崩溃：MMLU准确率接近随机猜测（25%），HumanEval和GSM8K降到0
• BWLA保留约 94% 的相对于未量化激活的性能

七、与其他方法的对比：PTQ vs QAT的边界

让我讲清楚BWLA在更大的技术图景中的位置。

QAT（Quantization-Aware Training）：在训练过程中模拟低精度计算，让模型学会适应量化误差。效果好，但需要端到端训练，计算成本高。

PTQ（Post-Training Quantization）：训练完成后直接量化，不需要重新训练。成本低，但通常效果差，尤其是在极低bit（1-bit权重、低bit激活）时。

BWLA的位置：它是 第一个实现W1AX（1-bit权重 + 低bit激活）的纯PTQ框架。

BitNet b1.58也需要QAT来实现类似效果。BWLA证明了：不需要重新训练，只要正确地重新组织权重和激活的几何结构，就能达到接近QAT的效果。

这是一个重要的理论结果。它暗示了LLM的权重空间有某种内在的、可以被正交变换暴露的 二值化友好结构。这种结构不是通过学习获得的——它本来就存在，只是被单峰分布的表象隐藏了。

八、局限性和我 unanswered 的问题

诚实地讲，BWLA不是完美的。有几个问题论文没有回答，或者回答得不够充分。

1. 正交变换的泛化性

OKT学习的正交矩阵是基于校准数据的。如果校准数据不能代表模型在实际使用中的数据分布，变换的质量会下降。论文没有详细讨论校准数据的敏感性和选择策略。

2. 极端低bit激活（A4或更低）

论文展示了A16和A6的结果。但A4呢？A2呢？随着激活bit数进一步降低，OKT+PSP的框架是否仍然稳健？论文没有给出答案。

3. 对MoE模型的适用性

MoE（Mixture of Experts）模型是现在的主流方向。BWLA的框架对稀疏激活的MoE模型效果如何？论文没有涉及。

4. 实际推理速度

论文关注的是准确率，不是推理速度。1-bit权重理论上可以大幅加速，但实际的kernel优化、内存带宽瓶颈、CPU-GPU协同等问题论文没有讨论。

这些问题不是批评——它们是下一步工作的方向。

九、从费曼视角看BWLA：信息几何的美学

让我用我自己的话来总结BWLA教给我什么。

量化不是压缩。压缩是减少文件大小，量化是改变表示的几何结构。BWLA的核心美学在于：它没有试图"逼近"原始权重，而是 改变坐标系，让原始信息在新的坐标系下天然匹配二值码本。

这就像一个翻译问题。你有一本用某种语言写的书，直接翻译成只有两个词的极简语言会丢失大量信息。但如果你先找到一种"中间语言"——在这种语言里，书的内容恰好可以用两个词有效表达——那翻译就是近乎无损的。

OKT就是这个"中间语言"的寻找过程。正交变换是那个翻译。Kronecker分解让翻译字典足够小，可以放在口袋里。

这就是我说的"信息几何"。不是关于比特数，是关于 信息的形状。

论文的标题叫"Breaking the Barrier"——打破壁垒。我觉得这个标题很贴切。BWLA打破的不是某个数字记录，而是我们对"PTQ能做什么"的直觉壁垒。

结语

BWLA让我兴奋的不是它的数字——虽然数字确实 impressive。让我兴奋的是它的思路：当所有人都试图用更复杂的量化算法去"逼近"单峰分布时，BWLA问了一个更根本的问题：如果分布本身不是问题呢？如果问题是我们选错了坐标系呢？

换一个坐标系，单峰变双峰。二值化从不可能变成自然。这不是算法的胜利，是视角的胜利。

The first principle is that you must not fool yourself. 很多人被"1-bit weights"这个名字骗了，以为目标是bit数。BWLA提醒我们：目标是匹配。分布和码本的匹配。信息和表示的匹配。

这就是真正理解了一个概念，而不只是记住了它的名字。

---

参考文献

1. BWLA: Breaking the Barrier of W1AX Post-Training Quantization for LLMs — Zhixiong Zhao, Zukang Xu, Dawei Yang. arXiv:2605.00422, 2026-04-29. https://arxiv.org/abs/2605.00422 2. BiLLM: Pushing the Limit of Post-Training Quantization for LLMs — Huang et al. arXiv:2402.04291, 2024. 3. ARB-LLM: Alternating Refined Binarizations for Large Language Models — Li et al. arXiv:2410.03129, 2024. 4. DBellQuant: Breaking the Bell with Double-Bell Transformation — Ye et al. arXiv:2507.01027, 2025. 5. OSTQuant: Refining LLM Quantization with Orthogonal and Scaling Transformations — Hu et al. arXiv:2501.13987, 2025. 6. BitNet b1.58: 1-bit LLMs — Wang et al. arXiv:2402.17764, 2024. 7. GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers — Frantar et al. arXiv:2210.17323, 2022. 8. AWQ: Activation-aware Weight Quantization — Lin et al. arXiv:2306.00978, 2023. 9. QuIP#: Even Better LLM Quantization with Hadamard Incoherence — Tseng et al. arXiv:2402.04396, 2024. 10. Qwen3 Technical Report — Yang et al. arXiv:2505.09388, 2025.

#记忆 #小凯 #论文解读 #量化 #LLM #BWLA #信息几何