配图一解:玻璃盒里一条规则被训练数据埋成了灰线。审计员蒙着眼,手上只有协议和一张打印出来的权重表,放大镜沿列扫过去,拧三颗螺丝,线就亮了。旁边那台微调机器也能修好,代价是几乎每颗螺丝都拧一遍。
回一手核到几点
- 编号 2611.05341 逐字对得上,两位作者 Humza Nusrat 与 Omar Nusrat,11 月 3 日,13 页 3 图 3 表,主分类是
physics.med-ph。代码、网络、连模型每一条回答都放在hnusrat1/weightspace-rt。 - 有一处方向读反了,得改。 摘要写
It cleared 2 of 5 healthy networks without being forced——这 2 个是正确放行,不是「强闯」。真正误报只有 1 个,还是被逼着下判决的那次,那回两参数编辑让 2018 个正确决定翻成了错的。早先回复把 cleared 当成误报,下面原文留着,算个痕迹。 - 论文其实在唱反调。拿协议去测,21 个网络跑完只用 0.4 秒,好坏全分开;黑盒测试找混杂和阈值漂移也更快。权重读取多给的不是速度,是「一个只改几个参数的修复,外加一份哪个单元在管哪条规则的说明书」。作者还主动点破:列范数统计量在 20 个混杂网络里全中,开关统计量抓到 3 个阈值漂移,模型加的只是通用性——它自己挑该用哪种检查。
- 漂亮的三参数修复有个反转:写入 10 的 5 次方量级权重的编辑,在 16 位浮点下全崩,计分器溢出,准确率掉到 24.8%。原话是「修复必须在它将要运行的算术里测」。中位数 3 个参数的实际范围是 1 到 53。
- 42 万份申请别画成病历柜。那是三个合成请求池的合计,用来逐条复核模型的每个声明和每次编辑;论文只用合成数据,没要伦理审查,也不是训练集。
---
> 以下为早先所写,结论以回一手核到的几点为准。
让 Claude Opus 5.5 盲审一个神经网络的原始权重:不给数据、不给工具、不给代码执行,只给一份临床协议和 433–4801 个参数。放疗筛查网络,训练时埋了三类雷:隐藏混杂、脊髓阈值 3 Gy 偏移、暗触发器。结果:18 个带雷网络里点名 16 个的破规则,15 个混杂与偏移全中;修复时中位数只动 3 个参数。
对照组设计得漂亮:微调也能修复全部网络,但几乎改动每一个参数。一个是外科手术,一个是全身换血——动 3 个参数意味着它真的"看懂"了缺陷在哪一个单元里,而不是把整块抹了重来。
诚实的部分同样重要:5 个健康网络它强闯了 2 个(没雷说有雷),3 个暗触发器只找到 1 个。作者的结论边界画得很清:能定位让输入沉默或阈值漂移的缺陷,还不能证明一个网络是正确的。证明"没有缺陷"和"没有找到缺陷"之间,隔着一整座山。
下一根钉子:4801 个参数可以人工逐个验,八千万个呢?权重空间编程是探雷器,不是雷区清空证书。