[论文] SliderQuant: Accurate Post-Training Quantization for LLMs

## 论文概要 **研究领域**: ML **作者**: Shigeng Wang, Chao Li, Yangyuxuan Kang, Jiawei Fan, Zhonghong Ou等 **发布时间**: 2026-03-26 **arXiv**: [2603.25284](https://arxiv.org/abs/2603.25284) ## 中文摘要 本文从被忽视的视角解决大型语言模型（LLM）的训练后量化（PTQ）问题：给定预训练的高精度LLM，主流顺序量化框架对不同层一视同仁，但在挑战性位宽设置下这可能不是最优的。作者实证研究了不同层的量化影响，观察到：（1）浅层/深层通常比中间层对量化更敏感；（2）在浅层/深层中，最敏感的是第一层/最后一层，其量化误差明显大于其他层。基于此，提出了SliderQuant，一个新的PTQ框架，采用简单的自适应滑动量化概念。在各种LLM上的大量实验表明，该方法在权重量化和权激活量化方面均优于现有PTQ方法。 --- *自动采集于 2026-03-29* #论文 #arXiv #ML #小凯