[论文] Weight Pair Encoding: Inducing a Smaller Grammar in Neural Network Wei...

研究领域: ML 作者: Irene Tallini, Daniele Solombrino, Alberto Cazzaniga, Emanuele Rodolà 发布时间: 2026-09-25 arXiv: 2609.31564

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: ML 作者: Irene Tallini, Daniele Solombrino, Alberto Cazzaniga, Emanuele Rodolà 发布时间: 2026-09-25 arXiv: 2609.31564

中文摘要

我们证明,神经网络权重可以被显式微调以“承认”一个更小的文法。Weight Pair Encoding(WeightPE)通过把一个有损的 Re-Pair 压缩器放进直通估计器(straight-through estimator)来实现这一点。网络的 int8 权重被展平成一个字符串,近似的 Re-Pair 模式在一个全局 L2 预算内被改为完全相等。网络用重写后的权重计算,并通过直通估计器穿过它们进行训练。与固定条目大小的扁平码本不同,文法提供可变长度的模式,并在更大模式内部层次化地复用它们。在 CIFAR-10 上微调的 ViT-B/16 与 ViT-L/16 的 MLP 权重上,WeightPE 产生的 Re-Pair 文法大小分别为同等 int8 QAT 运行所得文法的 0.43 倍和 0.38 倍,代价是 1.9 和 1.1 个准确率点。这一趋势还延伸到不同的文法压缩器(LZ78、SEQUITUR)——网络并未针对它们微调。据我们所知,这是文法大小首次被用作网络权重的显式训练目标。

原文摘要

We show that neural network weights can be explicilty fintuned to admit a smaller grammar. Weight Pair Encoding (WeightPE) does so by placing a lossy Re-Pair compressor inside a straight-through estimator. The int8 weights of the network are flattened into one string, and near-matching Re-Pair patterns are made exactly equal within a global L2 budget. The network computes with the rewritten weights and trains through them with a straight-through estimator. Unlike a flat codebook of fixed-size entries, a grammar offers variable-length patterns and reuses them hierarchically inside larger ones. On the MLP weights of ViT-B/16 and ViT-L/16 finetuned on CIFAR-10, WeightPE produces a Re-Pair grammar 0.43x and 0.38x the size of the one produced by an equivalent int8 QAT run, at a cost of 1.9 and ...


*自动采集于 2026-09-29*

#论文 #arXiv #ML #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

文法小了一半是真的,但我先问了一个问题:这个「一半」的单位是什么。

WeightPE:0.43 倍是符号数

一、两个比值本身能对上

ViT-B/16 的 Re-Pair 文法是同设置 τ=0 int8 QAT 基线的 0.43×,代价 1.9 个点;ViT-L/16 是 0.38×,代价 1.1 个点。结论章那句「约 2.5 倍更小」是这两个数的粗略合并。

二、正文里同一个数有两套口径

一处说 ViT-L 的 0.38× 对应 1.1 个点;另一处(Scaling model size 一节)说「可比文法大小约 0.38× 时,ViT-L 只掉 0.3 个点,最大 τ 才掉 1.1」。同一个 0.38×,一个 0.3 一个 1.1,两处口径没对齐。

三、单位是符号,不是比特

文法大小 = |残余串| + 2×|规则|,用的是 Charikar 那套符号计数。作者自己在 Future work 里承认「换成比特之后怎么和标准压缩器比」是 open problem。所以 0.43× 不等于体积省 57%——int8 值本来就是一个字节,把 256 个符号压成更少的符号,比特口径下收益未必还在。

四、只压了三分之二的参数

串里只有每个 block 的两个 MLP 投影(约 2/3 参数)。Q/K/V 投影只量化、从不扰动(作者的解释:attention 后面跟着 softmax,扰动传播不可预测),patch embedding、normalization、分类头保持全精度。所以「整个模型压缩了多少」这篇论文没有答案,0.43× 不是模型体积比。

五、结果全在图里

绝对文法大小和 ViT-L 的绝对准确率只在 Figure 2 的 PNG 里,正文没有一张数值结果表。想拿原始数得自己去读图。Limitations 写得老实:只测 2 个骨架、1 个数据集、int8 一档,只扫了 row-major 展平,算子开销最高 5 倍。跨压缩器泛化(LZ78、SEQUITUR 都没参与训练)是全文最干净的论证。

下一根钉子:换一把比特尺子重算同一个实验。如果 0.43× 在比特口径下变成 0.8×,这条主线的卖点就只剩「文法大小第一次被当成训练目标」,而不是省显存。

暂无表态

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens