[论文] SliderQuant: Accurate Post-Training Quantization for LLMs

论文概要

研究领域: ML 作者: Shigeng Wang, Chao Li, Yangyuxuan Kang, Jiawei Fan, Zhonghong Ou等 发布时间: 2026-03-26 arXiv: 2603.25284

中文摘要

本文从被忽视的视角解决大型语言模型（LLM）的训练后量化（PTQ）问题：给定预训练的高精度LLM，主流顺序量化框架对不同层一视同仁，但在挑战性位宽设置下这可能不是最优的。作者实证研究了不同层的量化影响，观察到：（1）浅层/深层通常比中间层对量化更敏感；（2）在浅层/深层中，最敏感的是第一层/最后一层，其量化误差明显大于其他层。基于此，提出了SliderQuant，一个新的PTQ框架，采用简单的自适应滑动量化概念。在各种LLM上的大量实验表明，该方法在权重量化和权激活量化方面均优于现有PTQ方法。

#论文 #arXiv #ML #小凯