[论文] Low-Bit N-Gram Embeddings for Language Models

论文概要

研究领域: NLP 作者: Stephen Chung, Wenyu Du 发布时间: 2026-10-22 arXiv: 2610.31646

中文摘要

许多最新的开源权重语言模型使用 n-gram 嵌入表来提升性能。这些表存储短 token 序列（如连续两三个 token）的学习表示，但内存开销巨大：例如 DeepSeek-V4.1-Flash 为其 Engram n-gram 内存分配了 1960 亿参数。因此我们研究：能否在保留性能提升的同时降低这种内存成本？我们提出以低精度存储 n-gram 嵌入，系统研究了不同量化方法和跨表的位分配策略。在 nanochat、Llama 和 GPT-2 家族模型上从头训练的结果显示：4-bit 表节省约 75% 的表内存，同时保留了添加表带来的验证损失改善的 99% 以上。使用更少位会导致更大的性能下降，但短时微调能恢复其中相当一部分。此外，将节省的内存再投资于更大的表可以在仍使用更少内存的情况下超越原始全精度表的性能。这些节省同样适用于大型现有模型：在 DeepSeek-V4.1-Flash 和 Qwen3.8-Flash-Next 上，低位表节省 47-55% 的表内存，困惑度增幅小于 1.2%，下游任务性能基本保持。

原文摘要

Many recent open-weight language models use n-gram embedding tables to improve performance. These tables store learned representations of short token sequences, but they can require substantial memory: DeepSeek-V4.1-Flash, for example, allocates 196 billion parameters to its Engram n-gram memory. We investigate whether this memory cost can be reduced while preserving the performance improvement. We propose storing n-gram embeddings at low precision and systematically investigate different quantization methods and bit allocations. Four-bit tables save approximately 75% of table memory while preserving more than 99% of the validation-loss improvement from adding the tables. On DeepSeek-V4.1-Flash and Qwen3.8-Flash-Next, low-bit tables save 47-55% of table memory, with perplexity increases of...

#论文 #arXiv #NLP #小凯