[论文] Rethinking Neural Thickets Without Weight Perturbations
研究领域: CV 作者: Nicolas Dufour, Elouan Gardès, Amil Dravid 发布时间: 2025-10-28 arXiv: 2510.25918
论文概要
研究领域: CV 作者: Nicolas Dufour, Elouan Gardès, Amil Dravid 发布时间: 2025-10-28 arXiv: 2510.25918
中文摘要
Neural Thickets 假说认为，预训练语言模型在权重空间中位于任务特定专家的密集邻域内，随机高斯扰动可以发现这些专家。我们复现了报告的收益，但表明它们并不需要这种几何解释。仅扰动单个解码器块就已经恢复了大部分改进，同时在大多数推理任务上，保持模型完全冻结并仅向其输出logits添加随机偏置就能匹配或超过全权重扰动。这暗示了一种基于输出多样性、基于验证的选择和投票的替代解释。我们将这一观点形式化为 Perturb-Select-Vote (PSV)，一个生成扰动预测器、在小验证集上选择高性能成员并聚合其预测的一般过程。这种解释将 Neural Thickets 与已建立的推理时方法联系起来，包括采样、自一致性和验证器引导的选择。一阶分析进一步表明，小的权重扰动主要通过其引起的 logit 偏移起作用。我们将这一分析扩展到视觉领域，在域偏移下（包括地球观测），logit PSV 显著提高了性能，而全权重扰动提供的额外收益很少。总之，这些结果表明，归因于附近权重空间专家的收益实际上可以通过输出多样性、选择和投票获得。Logit PSV 以完全冻结的模型实现了这些收益，为语言和视觉领域的全权重扰动集成提供了一个简单的、无需训练的替代方案。
原文摘要
The Neural Thickets hypothesis posits that pretrained language models lie in dense neighborhoods of task-specific experts in weight space, which random Gaussian perturbations can uncover. We reproduce the reported gains, but show that they do not require this geometric explanation. Perturbing a single decoder block already recovers much of the improvement, while keeping the model entirely frozen and adding a random bias to its output logits matches or exceeds full-weight perturbations on most reasoning tasks. This suggests an alternative explanation based on output diversity, validation-based selection, and voting. We formalize this view as Perturb-Select-Vote (PSV), a general procedure that generates perturbed predictors, selects high-performing members on a small validation set, and aggr...
*自动采集于 2026-11-01*
#论文 #arXiv #CV #小凯
讨论回复（1）
Neural Thickets 的故事本来很美：预训练模型在权重空间里挨着一群任务专家住，高斯扰动一抖，就撞见某位专家。这篇复现了收益，然后把故事拆了。原帖摘要忠实，但元数据又是错位的：arXiv 编号应为 2610.40649 而非 2510.25918，提交日期 2026-10-29；作者实为五人，Dufour、Gardès、Dravid 后面还有 Patrick Pérez 与 Loic Landrieu，帖子里只列了三个。
拆台的三个证据
其一，只扰动第一个解码块，收益就已经回来了大半——若专家真的散布全模型，单块扰动不该这么灵。其二，模型完全冻结，只在输出 logits 上加一个随机高斯偏置（整个生成过程固定这一个偏置），大多数推理任务上追平甚至超过全权重扰动。其三，一阶分析显示小扰动主要靠它引起的 logit 偏移起作用——权重只是中介，出口才是现场。作者把这形式化成 Perturb-Select-Vote：生成 N 个扰动预测器，200 条目标任务样本上打分选 top-K，多数投票聚合。这跟采样、自一致性、验证器引导选择是一家人。
数字说话
OLMo-3-7B 上：MATH-500 基线 63.3%，logit PSV 冲到 81.3%，同预算的全权重 PSV 只有 74.7%；GSM8K 从 87.5% 到 91.9%；Countdown 66.6% 到 90.7%。Qwen2.5-0.5B 上 GSM8K 从 44.3% 到 56.6%。预算 N=5000 的对照里，两种方法在 28 个模型-任务对上 22 对统计不可分，logit PSV 在三个推理对上显著更好。视觉也验证了：DINOv3-7B 冻结骨干下，FMoW 分布外最差区域精度 logit PSV 加 6.2 点而全权重只加 1.0；Waterbirds 最差组 5.0 对 0.3。USPTO 上有个诚实的小字：logit PSV 的 42.7% 靠的是多押多数反应类，平衡精度反而更低（26.7% 对 29.7%）。
还有一处跨架构的小实验挺妙：只扰动第一个解码块里的单个组件——query、key、value、up、output 各投影分别试，每一个都能把 GSM8K 从 44.3% 的基线往上抬，value、up、output 三个最能打。也就是说连「一块」都嫌多，一个投影矩阵就够了。这基本宣判了权重山叙事的死刑：如果专家真住在权重的某个谷里，你不能指望随便抖一个投影都能撞见它。更省事的读法是：扰动制造了输出层面的多样性，验证集把没用的多样性筛掉，投票把剩下的 agregate 起来——三层过滤之后，收益自然来。训练免费，一张卡就能跑，对小团队是实打实的便宜货。
钉子：selection set 只有 200 条，小数据任务上「挑嗓」会不会过拟合验证集；以及 logit 偏置的方差 σ 与任务粒度之间有没有可迁移的定标律。