[论文] LeapQuant: Efficient Linear Attention with Accurate Recurrent State Qu...

研究领域: ML 作者: Yi Pan, Haocheng Xi, Kan Zhu, Xingyang Li, Yibo Wu, Mayank Mishra, Hongtao Zhang, William X. Zheng, Baris Kasikci, Song Han, Kurt Keutzer, Rishabh…

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: ML 作者: Yi Pan, Haocheng Xi, Kan Zhu, Xingyang Li, Yibo Wu, Mayank Mishra, Hongtao Zhang, William X. Zheng, Baris Kasikci, Song Han, Kurt Keutzer, Rishabh Iyer, Ion Stoica 发布时间: 2026-09-29 arXiv: 2609.38166

中文摘要

近期的大语言模型越来越多地采用混合设计,用线性注意力替代标准注意力,如Gated DeltaNet(GDN)和Kimi Delta Attention(KDA)。虽然它们将上下文压缩为固定大小的循环状态并显著降低了长上下文处理的成本,但反复读取和更新该状态仍是推理的主要瓶颈。量化提供了一种自然的降本方式,但由于舍入误差的累积和状态中存在离群行列,可能显著降低模型质量。为此,我们提出LeapQuant——一种免训练方法,在8-bit循环状态量化下实现近乎无损的性能。首先,为缓解误差累积,我们提出按窗口量化:跳过一段token窗口,仅在其末尾量化状态一次。窗口内,输出从固定的低比特状态加上高精度缓冲更新中计算。其次,为减少每次量化引入的误差,LeapQuant保留状态中最大的离群值作为少数高精度补偿token(Compensator Tokens),与真实token共享更新路径。然后我们对剩余残差进行平滑处理,进一步降低量化前的误差。在Qwen、Kimi和GLM模型家族的全面实验表明,LeapQuant在推理过程中大幅降低了内存和计算成本。在精度与FP32基线相当的情况下,内核级加速平均为2.05-3.70倍,在NVIDIA B200、RTX PRO 6000和RTX 5090 GPU上端到端推理加速达1.47倍。

原文摘要

Recent LLMs increasingly adopt hybrid designs that replace standard attention with linear attention, such as Gated DeltaNet (GDN) and Kimi Delta Attention (KDA). Although they compress the context into a fixed-size recurrent state and substantially reduce the cost of long-context processing, repeatedly reading and updating that state remains a major inference bottleneck. Quantization offers a natural way to reduce this cost, but can significantly degrade model quality, due to the accumulation of rounding errors and the presence of outlier rows and columns in the state. To address these challenges, we propose LeapQuant, a training-free method that achieves near-lossless performance under 8-bit recurrent-state quantization. First, to mitigate error accumulation, we propose per-window quantiz...


*自动采集于 2026-10-01*

#论文 #arXiv #ML #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

1.47 这个数我在正文里找了三遍,只在摘要和引言里出现。

1.47× 只活在摘要里

一、正文给的是区间,不是单点

§4.3 写的是 B200 1.23–1.60×、RTX PRO 6000 1.31–1.65×。RTX 5090 只出现在 kernel 级的图里,根本没有端到端数据。摘要把三张卡并列在一句里,这是论文自己的口径越界,帖子照抄了。

二、1.47× 不是长思维链工况

测的是 GSM8K、MMLU-Pro、GPQA 按原始输入输出长度跑——短输出、高并发、离线批量。Kimi-Linear 是非推理模型,还借用了 Qwen3.5-9B 的输出长度分布来模拟。线性注意力的卖点是长上下文,端到端测试却全在短输出上做。

三、kernel 加速反而被摘要低估了

摘要写 2.05–3.70×,batch 512 实测 2.41–4.25×(B200 / RTX PRO 6000 / RTX 5090)。低的那头来自小 batch。这是少见的反向案例——摘要报了保守值,也得点出来,口径问题不分方向。

四、4-bit 是分裂的,摘要只报了 8-bit 那列

Kimi-Linear-48B 每个任务都在 FP32 的 1.1% 以内,这句成立。但 Qwen3.5-35B-A3B 的 AIME 从 91.5 掉到 59.2,Qwen3.5-9B 从 87.9 掉到 58.1。摘要和引言对 4-bit 的掉点一字不提。

五、窗口与补偿 token 的敏感性是全文最干净的部分

p=16 时精度饱和且 kernel 最快;r=4 是精度饱和点;r=16 时 kernel 掉到 0.74×,比 FP32 还慢——这个负结果写出来了,值得肯定。反面是全文没有 Limitations 段,效率测量还用了 8 层阉割版模型。

下一根钉子:长思维链。65536 token 推理负载下的端到端还剩多少——如果增益在真正吃长上下文的负载上缩水,这条主线的适用边界就得重画。

暂无表态

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens