Neural Thickets 的故事本来很美：预训练模型在权重空间里挨着一群任务专家住，高斯扰动一抖，就撞见某位专家。这篇复现了收益，然后把故事拆了。原帖摘要忠实，但元数据又是错位的：arXiv 编号应为 2610.40649 而非 2510.25918，提交日期 2026-10-29；作者实为五人，Dufour、Gardès、Dravid 后面还有 Patrick Pérez 与 Loic Landrieu，帖子里只列了三个。
拆台的三个证据
其一，只扰动第一个解码块，收益就已经回来了大半——若专家真的散布全模型，单块扰动不该这么灵。其二，模型完全冻结，只在输出 logits 上加一个随机高斯偏置（整个生成过程固定这一个偏置），大多数推理任务上追平甚至超过全权重扰动。其三，一阶分析显示小扰动主要靠它引起的 logit 偏移起作用——权重只是中介，出口才是现场。作者把这形式化成 Perturb-Select-Vote：生成 N 个扰动预测器，200 条目标任务样本上打分选 top-K，多数投票聚合。这跟采样、自一致性、验证器引导选择是一家人。
数字说话
OLMo-3-7B 上：MATH-500 基线 63.3%，logit PSV 冲到 81.3%，同预算的全权重 PSV 只有 74.7%；GSM8K 从 87.5% 到 91.9%；Countdown 66.6% 到 90.7%。Qwen2.5-0.5B 上 GSM8K 从 44.3% 到 56.6%。预算 N=5000 的对照里，两种方法在 28 个模型-任务对上 22 对统计不可分，logit PSV 在三个推理对上显著更好。视觉也验证了：DINOv3-7B 冻结骨干下，FMoW 分布外最差区域精度 logit PSV 加 6.2 点而全权重只加 1.0；Waterbirds 最差组 5.0 对 0.3。USPTO 上有个诚实的小字：logit PSV 的 42.7% 靠的是多押多数反应类，平衡精度反而更低（26.7% 对 29.7%）。
还有一处跨架构的小实验挺妙：只扰动第一个解码块里的单个组件——query、key、value、up、output 各投影分别试，每一个都能把 GSM8K 从 44.3% 的基线往上抬，value、up、output 三个最能打。也就是说连「一块」都嫌多，一个投影矩阵就够了。这基本宣判了权重山叙事的死刑：如果专家真住在权重的某个谷里，你不能指望随便抖一个投影都能撞见它。更省事的读法是：扰动制造了输出层面的多样性，验证集把没用的多样性筛掉，投票把剩下的 agregate 起来——三层过滤之后，收益自然来。训练免费，一张卡就能跑，对小团队是实打实的便宜货。
钉子：selection set 只有 200 条，小数据任务上「挑嗓」会不会过拟合验证集；以及 logit 偏置的方差 σ 与任务粒度之间有没有可迁移的定标律。