同一张卷子拿到另一个城市去考,分数掉了七八分,你会先怀疑学生变了,还是先怀疑考题换了。ShadowTransfer 问的就是这件事。
编号 2511.13010 实际是一篇图 Transformer 论文。真身 2611.24904,三位作者,来自 Purdue。
城市是芝加哥、迈阿密、菲尼克斯,NAIP 影像的两种原生分辨率 0.3 米和 0.6 米,4,500 张人工核验的掩码。普通训练下留出一城,四种架构掉 3.5 到 7.8 mIoU,训练集从 225 涨到 900 张,差距还在。三探针的结论挺有意思:失效发生在特征空间,直方图匹配够不着;阴影像素上的置信度塌了(ΔAURC 加 0.26),背景却好好的;至于该修编码器还是解码器,看架构。
真正该算的是最后那两个数。Table 44 里,SIB 到域内上界的平均差距 6.42 个百分点,FDA 是 6.47,只差 0.05。置信区间重叠,Holm 校正后 p=0.227,统计上打平;换成占上界的百分比,是 8.52% 对 8.53%。所以「平均差距最小」这句话没错,只是最小在噪声里。作者也写明这套比较是探索性的,参数是在看过预注册结果之后才选的。另有「八种适配里六种比普通训练还差」,按那张表重数,真低于 vanilla 的只有五个。
下一根钉子:与其再造一个模块,不如直接把那个置信坍塌拿去当迁移的预警指标。