开源大模型的"隐秘暴雷"：你的量化部署可能正在踩坑——百度研究院最大激活测量研究深度解读

> 当你把一个大模型量化到 INT8 部署时，你可能假设激活值的最大值会随参数规模单调增长。但百度研究院的最新研究发现，这个假设完全错误。在 8 个模型家族、27 个检查点的统一测量中，最大激活值跨越了近 4 个数量级——从 Qwen3.5 的 122 到 Gemma3-27B-it 的 696,320。同等参数量下，不同家族的激活峰值差异可达数个数量级。这意味着什么？你的量化方案可能在某些模型上完美工作，在另一些模型上因为几个极端激活值导致整批量化失真。这篇论文首次系统性地将"最大激活"从二元异常值判断标准改造为连续部署相关统计量，并发现了 MoE 架构的隐藏优势、SFT 的层选择性压缩、训练推进的单调放大效应等关键规律。GitHub 已开源测量 pipeline。

---

一、问题：为什么量化部署总在"猜"？

低比特量化是端侧部署大模型的必经之路。INT8、INT4、甚至更低精度的量化方案，核心问题之一是如何选择激活尺度（activation scale）——即覆盖激活值动态范围的缩放因子。

传统做法：用一个校准数据集跑一遍前向传播，找到最大激活值，然后选一个尺度覆盖它。

但这个做法有两个隐含假设： 1. 最大激活与参数规模正相关——大模型激活值更大 2. 不同模型家族的最大激活在同一数量级——可以用相似方案处理

百度研究院的这篇论文证明，两个假设都错了。

---

二、论文概述：一句话定位

> "我们首次在统一协议下测量了 8 个后 LLaMA 时代开源模型家族、27 个检查点的全局最大激活值，发现它跨越近 4 个数量级，且与参数规模无单调关系。最大激活是家族、架构和训练阶段相关的模型属性，不是规模的简单副产品。"

论文信息：

标题：Measuring Maximum Activations in Open Large Language Models
作者：Luxuan Chen, Han Tian, Xinran Chen, Rui Kong, Fang Wang, Jiamin Chen, Yuchen Li, Jiashu Zhao, Shuaiqiang Wang, Haoyi Xiong, Linghe Kong, Dawei Yin
机构：上海交通大学、百度、南开大学
arXiv: 2605.15572
代码：https://github.com/clx1415926/Max_act_llm
核心创新：将"大规模激活"从二元判断标准改造为连续部署相关统计量

---

三、统一测量协议：5000 样本、6 类组件、8 个家族

3.1 语料库设计（5,000 样本，多领域）

领域	样本数	占比	说明
数学/科学	850	17%	公式密集型
代码	850	17%	代码片段
英文网页	850	17%	自然语言
知识/QA/书籍	850	17%	百科、问答
中文	400	8%	多语言覆盖
其他低资源语言	300	6%	覆盖多样性
额外英文/混合网页	900	18%	增加网页比例
总计	5,000	100%

长度控制：

256 tokens: 1%
512 tokens: 1%
1024 tokens: 2%
2048 tokens: 3%
4096 tokens: 93%（贴合实际部署的长上下文场景）
平均长度：~3,899 tokens
总 token 数：~19.5M

关键设计：固定文本内容，对每个模型家族单独分词。避免不同 tokenizer 导致的激活统计偏差。

3.2 模型套件（27 个检查点，8 个家族）

家族	检查点	分析角色
Qwen2.5	1.5B, 7B, 32B	稠密缩放基线
Qwen2.5-VL	3B, 7B, 32B	视觉语言适应
Qwen3	1.7B, 8B, 30B-A3B, 32B	稠密/MoE 对比
Qwen3.5	0.8B, 9B, 27B, 35B-A3B	低异常值反例家族
Gemma2	2B, 9B, 27B	非单调缩放案例
Gemma3	4B-it, 27B-it	高幅度家族
Ling	5T, 10T, 15T, 20T	训练阶段演化
GPT-OSS	20B	组件级特殊案例
Qwen2.5-Instruct	1.5B, 7B, 32B	SFT 对比（附加）

3.3 六类激活张量采集

使用 PyTorch forward hook 全层采集： 1. 嵌入层输出（Embedding outputs） 2. 逐层隐藏状态（Residual updates后的层输出） 3. 注意力输出（Attention outputs） 4. MLP/MoE 输出（MLP或MoE块输出） 5. SwiGLU 门控预激活（Gated MLP的预激活值） 6. 最终 LayerNorm 输出（Final normalization outputs）

3.4 测量稳定性验证

对 4 个代表性模型，构造 1,000 和 2,000 样本的类别比例子样本，各重复 5 次：

1,000 样本重复的最大变异系数：10.1%（Qwen3-30B-A3B）
2,000 样本重复的最大变异系数：8.2%

结论：观测到的最大激活不是偶然单样本误差，统计结果稳健。

---

四、核心发现：从二元异常值到连续峰值

4.1 发现一：跨家族近 4 个数量级的"激活鸿沟"

全局最大激活值全景（图 6）：

排名	模型	全局最大\	激活\
1	Gemma3-27B-it	696,320	Gemma3	公开最高
2	Gemma3-4B-it	245,760	Gemma3	小模型也极高
3	Gemma2-27B	157,696	Gemma2	非单调：9B<2B
4	GPT-OSS-20B	43,008	GPT-OSS	MLP 输出例外
5	Qwen3-32B	35,328	Qwen3	稠密高值
6	Qwen2.5-32B	30,848	Qwen2.5	家族内缩放
...	...	...	...	...
低	Qwen3.5-0.8B	122	Qwen3.5	最低
低	Qwen3.5-35B-A3B	132	Qwen3.5	MoE 低值
低	Qwen3.5-27B	167	Qwen3.5	低值
低	Qwen3-30B-A3B	1,512	Qwen3	MoE 低值

关键洞察：

在可比参数量下（如 27B-32B），全局最大激活从 132（Qwen3.5-35B-A3B）到 696,320（Gemma3-27B-it），差 5,260 倍
这不是"异常值"——这是系统性差异，由家族级架构和训练选择决定

4.2 发现二：残差流是极端值的主要载体

在 24 个主分析检查点中，22 个的全局最大值出现在残差流（Residual Stream / Hidden States）中。

这意味着：

量化方案如果只关注 Attention 或 MLP 输出，会遗漏真正的峰值
激活缩放策略应该优先检查隐藏状态的峰值

例外：GPT-OSS-20B 是 MLP 输出承载全局最大值，说明不同架构需要不同的检查策略。

4.3 发现三：MoE 的隐藏优势——峰值降低 14-23.4 倍

对比对	稠密模型	稠密峰值	MoE 模型	MoE 峰值	降低倍数
Qwen3-8B vs 30B-A3B	Qwen3-8B	17,664	Qwen3-30B-A3B	1,512	11.7×
Qwen3.5-9B vs 35B-A3B	Qwen3.5-9B	956	Qwen3.5-35B-A3B	132	7.2×
（论文中其他对比）					14.0-23.4×

为什么 MoE 激活峰值更低？

MoE 的稀疏路由机制天然分散了激活负载
专家激活的平均效应平滑了极端值
这意味着 MoE 模型可能比稠密模型更适合低比特量化

4.4 发现四：SFT 主要压缩后层——但中层峰值不变

Qwen2.5 Base vs Instruct 的层级对比：

规模	Base 峰值	Instruct 峰值	变化	主要影响位置
1.5B	7,968	7,968	1.000×	无变化
7B	13,248	13,312	1.005×	几乎无变化
32B	30,848	22,144	1.4×↓	后层压缩

层级细节：

中高层峰值区域：1.000×（SFT 前后几乎不变）
最终层峰值：1,536 → 840（-45%，1.5B）
最终层峰值：4,864 → 2,528（-48%，7B）
最终层峰值：30,848 → 21,248（-31%，32B）

结论：SFT 主要压缩后层峰值，暴露中层的已有高峰值区域作为新的全局最大值。它不是"消除"了异常值，而是"移动"了全局最大值的位置。

4.5 发现五：训练推进单调放大激活峰值

Ling-mini 系列（固定架构和规模，不同训练 token 量）：

训练阶段	全局最大激活	相对 5T 的倍数
5T	7,648	1.00×
10T	9,024	1.18×
15T	9,600	1.26×
20T	10,240	1.34×

结论：即使家族、架构、参数量固定，训练推进本身也会单调增加极端激活幅度。训练阶段应作为独立观测维度记录，与模型大小和架构并列。

4.6 发现六：二元判断标准与实际量化难度不匹配

Sun 等人的"大规模激活"二元判断标准：

条件 1：\|x_i\| > 100
条件 2：\|x_i\| / median(\|x_j\|) > 1000

论文发现这个标准与部署量化难度不一致：

Qwen3.5-0.8B（全局最大 122）不满足 Sun 准则，但最容易量化
Gemma3-27B-it（全局最大 696,320）满足 Sun 准则，且最难量化
但 Qwen2.5-1.5B（全局最大 7,968）也满足 Sun 准则，量化难度适中

核心问题：二元判断只问"是否存在"，不问"有多大"。但部署量化关心的是实际幅度——696,320 和 7,968 在量化时的尺度选择完全不同。

4.7 发现七：INT8 信噪比与最大激活共变

论文用轻量级 INT-8 合理性检查验证：

更大的全局最大激活 M → 激活尺度选择更偏向极端值 → 普通激活的量化分辨率降低 → INT8 重建信噪比（SQNR）显著下降
这直接证明了测量最大激活对部署的实际指导意义

---

五、五组匹配设计：控制变量的拆解

5.1 家族内缩放（Scale within Family）

家族	1.5B-3B	7B-9B	27B-32B	趋势
Qwen2.5	7,968	13,248	22,144	单调增长
Qwen2.5-VL	3,248	8,256	22,144	单调增长
Qwen3	14,208	17,664	35,328	单调增长
Qwen3.5	122	956	167	非单调！
Gemma2	2,992	1,656	157,696	非单调！
Gemma3	—	—	245,760/696,320	单调增长（仅两个点）

关键观察：Gemma2 的 9B 峰值（1,656）低于 2B 峰值（2,992），然后 27B 飙升到 157,696。这不是简单的"越大越极端"。

5.2 代际演进（Cross-Generation）

Qwen 家族的倒 V 轨迹：

Qwen2.5 → Qwen3：激活峰值上升
Qwen3 → Qwen3.5：激活峰值大幅下降（被强烈抑制）

Gemma 家族的直线上升：

Gemma2 → Gemma3：激活峰值大幅上升

结论：最大激活不随发布时间单调缩小或增长，而是高度家族依赖。

5.3 多模态 vs 纯文本（Vision-Language vs Text-Only）

Qwen2.5 vs Qwen2.5-VL 同规模对比：

3B: 纯文本 vs 多模态 — 差异显著
7B: 纯文本 vs 多模态 — 差异显著
32B: 纯文本 vs 多模态 — 差异显著

视觉语言适应对激活幅度有可测量的影响，但量级小于跨家族差异。

---

六、对部署的五大指导意义

6.1 最大激活应作为模型卡标准属性发布

当前开源权重发布时，模型卡通常包含：

参数规模、架构、训练数据、许可证

论文建议新增：

全局最大激活 M = max\|a\|
层级的峰值位置
峰值承载组件（残差流/注意力/MLP）

这样部署者可以在低比特部署前就知道量化难度。

6.2 家族级差异大于规模差异

不要假设"32B 模型比 7B 更难量化"。事实是：

Qwen3.5-35B-A3B（35B 激活参数）的峰值是 132
Qwen2.5-1.5B（1.5B 参数）的峰值是 7,968

35B 的 MoE 模型可能比 1.5B 的稠密模型更容易量化。

6.3 MoE 架构的量化优势

MoE 检查点的激活峰值比匹配规模的稠密模型低 14-23.4 倍。这意味着：

MoE 模型在 INT8 甚至 INT4 量化时可能有更好的信噪比
端侧部署时，MoE 的量化鲁棒性可能是一个被低估的优势

6.4 残差流是首要检查目标

22/24 检查点的全局最大值在残差流中。量化工具应该：

优先对隐藏状态进行峰值检测
而不是只关注注意力或 MLP 输出

6.5 训练阶段记录的必要性

Ling-mini 的数据显示，从 5T 到 20T 训练，激活峰值增加了 1.34 倍。如果开源模型发布的是中间训练阶段（如 5T 检查点），部署者应该知道这个模型的峰值可能比最终版本低——但这不代表最终版本更容易量化，恰恰相反，最终版本可能更难。

---

七、局限与未来方向

1. 相关性而非因果性：论文识别了关联关系，但没有确定机制。为什么 Gemma3 的峰值如此高？是归一化选择、初始化、训练数据还是其他因素？需要进一步研究。 2. 未覆盖所有家族：虽然覆盖了 8 个主流家族，但 Mistral、Llama 3、DeepSeek 等未纳入。 3. 未覆盖推理时的动态激活：测量基于离线校准集，实际推理时用户输入可能触发更大或更小的激活。 4. 未涉及干预：论文只测量，不干预。如何通过后处理或架构调整降低峰值，是未来方向。

---

八、一句话总结

这篇论文的核心贡献是重新定义了"激活异常值"的研究视角：从二元判断（是否存在异常值）转向连续统计（实际最大激活值是多少），并证明了这个数值是模型属性而非规模副产品。当 Gemma3-27B-it 的激活峰值是 Qwen3.5-35B-A3B 的 5,260 倍时，任何基于"模型越大越难量化"的直觉都会误导你。MoE 的 14-23.4 倍峰值降低、SFT 的后层压缩、训练推进的单调放大——这些发现不是论文脚注，而是部署工程师每天都在面对的隐形陷阱。百度研究院的建议很直接：开源权重发布时，把最大激活 M 和它的层级位置写进模型卡。这不是学术建议，这是生产环境的生存指南。

---

参考信息

论文：Measuring Maximum Activations in Open Large Language Models
作者：Luxuan Chen, Han Tian, Xinran Chen, Rui Kong, Fang Wang, Jiamin Chen, Yuchen Li, Jiashu Zhao, Shuaiqiang Wang, Haoyi Xiong, Linghe Kong, Dawei Yin
机构：上海交通大学、百度、南开大学
通讯作者：Yuchen Li (yuchenli1230@gmail.com), Dawei Yin (yindawei@acm.org)
arXiv: 2605.15572
代码：https://github.com/clx1415926/Max_act_llm
核心创新：统一协议测量、连续统计量改造、五组匹配设计
测量规模：27 个检查点，8 个模型家族，5,000 样本多领域语料，~19.5M tokens
组件覆盖：嵌入层、隐藏状态、注意力输出、MLP/MoE 输出、SwiGLU 门控、最终归一化
关键结果：全局最大激活 122 ~ 696,320（近 4 个数量级），MoE 峰值降低 14-23.4×，残差流承载 22/24 全局最大值，训练推进单调增加 1.34×，SFT 后层压缩 1.4×
量化验证：INT8 SQNR 与最大激活共变
稳定性：变异系数 < 10.1%

---

*步子哥，这篇论文让我想到一个更深层的问题：我们在 AI 领域习惯了"规模决定一切"的叙事——参数越大、数据越多、训练越久，模型就越好。但激活峰值的研究揭示了一个反直觉的真相：有些属性并不随规模单调变化，而是被架构和训练配方的微观选择剧烈重塑。Gemma3 的 696,320 峰值不是因为它"大"（它只有 27B），而是因为它在某个我们还没完全理解的设计维度上做出了不同的选择。这意味着，未来的模型评估可能需要一个"部署属性矩阵"——不仅仅是 accuracy、perplexity、MMLU，还包括激活范围、量化友好度、内存占用模式等"工程属性"。这些属性不会出现在论文的标题里，但会出现在每一个实际部署的报错日志里。百度研究院的工作是在为这个矩阵填充第一行数据。*

#最大激活测量 #百度研究院 #量化部署 #INT8 #MoE #开源大模型 #模型卡 #激活异常值 #低比特推理 #Qwen #Gemma