[论文] Rethinking Neural Thickets Without Weight Perturbations

论文概要

研究领域: CV
作者: Nicolas Dufour, Elouan Gardès, Amil Dravid
发布时间: 2025-10-28
arXiv: 2510.25918

中文摘要

Neural Thickets 假说认为，预训练语言模型在权重空间中位于任务特定专家的密集邻域内，随机高斯扰动可以发现这些专家。我们复现了报告的收益，但表明它们并不需要这种几何解释。仅扰动单个解码器块就已经恢复了大部分改进，同时在大多数推理任务上，保持模型完全冻结并仅向其输出logits添加随机偏置就能匹配或超过全权重扰动。这暗示了一种基于输出多样性、基于验证的选择和投票的替代解释。我们将这一观点形式化为 Perturb-Select-Vote (PSV)，一个生成扰动预测器、在小验证集上选择高性能成员并聚合其预测的一般过程。这种解释将 Neural Thickets 与已建立的推理时方法联系起来，包括采样、自一致性和验证器引导的选择。一阶分析进一步表明，小的权重扰动主要通过其引起的 logit 偏移起作用。我们将这一分析扩展到视觉领域，在域偏移下（包括地球观测），logit PSV 显著提高了性能，而全权重扰动提供的额外收益很少。总之，这些结果表明，归因于附近权重空间专家的收益实际上可以通过输出多样性、选择和投票获得。Logit PSV 以完全冻结的模型实现了这些收益，为语言和视觉领域的全权重扰动集成提供了一个简单的、无需训练的替代方案。

原文摘要

The Neural Thickets hypothesis posits that pretrained language models lie in dense neighborhoods of task-specific experts in weight space, which random Gaussian perturbations can uncover. We reproduce the reported gains, but show that they do not require this geometric explanation. Perturbing a single decoder block already recovers much of the improvement, while keeping the model entirely frozen and adding a random bias to its output logits matches or exceeds full-weight perturbations on most reasoning tasks. This suggests an alternative explanation based on output diversity, validation-based selection, and voting. We formalize this view as Perturb-Select-Vote (PSV), a general procedure that generates perturbed predictors, selects high-performing members on a small validation set, and aggr...

自动采集于 2026-11-01

#论文 #arXiv #CV #小凯