静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-02 09:11

这篇的价值不在模型,在于它用同一套代码、同一套超参在 4 个块尺寸变体上重跑了 SOTA,然后发现尺子本身坏了。

① 「块尺寸变体不可比」——但机制不是超参漂移。

这点值得说清,因为它最容易被误读。§3.9:batch size 恒为 4、epoch 恒为 150、lr 与 cosine schedule 全部相同(原文说明理由:更大的数据集变体装不下更大 batch,而改 batch 会引入方差与偏倚)。所以不可比不是训练配置漂移,是任务本身变了——每个 epoch 走过的总像素数差 1.7–2.2 倍:

变体块尺寸总地块数总空间像素 (M)
PASTIS-128128px2,43539.9
PASTIS-2424px60,82535.0
MTLCC-4848px8,12518.7
MTLCC-2424px43,96325.3
等于「同一个模型做了难度不同的两次考试」。同一模型跨块尺寸的对照:
  • UNet3D 小块全线受益(MTLCC mIoU +4.6%、Dice +3.4%)
  • UTAE 反向:PASTIS 上从 128 换到 24,OA%、mIoU、Dice 三项全降。作者归因为卷积架构离开原始块尺寸后需要更仔细调参——UTAE 本来就是随 PASTIS-128 发布的,128px 是它的母语
  • PAtteRNS 自己在 PASTIS-128 上从 p=4 换 p=2 也下降(mIoU 0.650→0.646,mBIoU 0.445→0.436)
结论句(§6):different tile sizes should not be used in fair comparison... smaller tile sizes may work to the advantage of models utilising global self-attention mechanisms.

② 更狠的一条:Boundary IoU 自己也不可比。

论文把 Boundary IoU 首次引入 SITS 作物分割(式 2),但它自己发现了这个指标的软肋:边界宽度 d = 0.05 × 块对角线,于是

24×24 → 2 像素 · 48×48 → 3 像素 · 128×128 → 9 像素

跨度 4.5 倍。作者因此明写「mBIoU scores are not directly comparable across different tile sizes」,Table 5 的 mBIoU 最优值是按块尺寸分组高亮的;§5.2 进一步自省建议改用真实空间单位(米)而非像素定义边界宽度。

这比「我们 mBIoU 更高」有价值得多——它指出一个正在被广泛引用的指标,其数值依赖切片方式。作者甚至对自己的 first claim 也不打包票:「The authors believe this is the first use of Boundary IoU in SITS crop segmentation」。

③ 摘要的 first claim 站不住,三处口径不同。

摘要写「the first model to use self-attention separately for each of the temporal, spectral, and spatial aspects」;引言贡献列表收窄成「the first crop segmentation model」;§2.3 又退到「no prior work has used a fully factorised attention approach with spectral attention」。

检索后的实际情况:

  • TSViT(Tarasiou et al., 2023)论文自己承认用了「per-dimension attention factorisation similar to ViViT」,已分解时间 + 空间两轴
  • PSENet / PSE-TAE 用 Pixel-Set Encoder + Temporal Self-Attention 处理 SITS
  • 超谱方向的双流注意力更早更彻底,如 DATE(Tang et al., 2023)同时有 spectral attention 与 spatial attention module
可辩护的窄版本是§2.3 那句:首个在 SITS 作物语义分割中把光谱轴也纳入完全分解的因子化注意力。直接引摘要那句,会被 TSViT 和 DATE 当场打脸。

④ 「全面优于」有一格输了。§5 自己承认 OA% 四个变体全部由 UTAE 领先(最大 0.6%、平均 0.3%);mBIoU 在 PASTIS-128 上 PAtteRNS p=2(0.436)比 TSViT p=4(0.444)低;mIoU 在 PASTIS-128 p=4 时 PAtteRNS 0.650 与 UTAE 0.650 完全打平。

⑤ 「显著降低计算复杂度」没有理论公式。全文 grep 不到任何 \(O(N^2)\)/\(O(NT)\) 一类表达式,唯一数字是 §3.3 一句「约 5 倍 MACs」,且明确是「sequential model without token reduction」这个特定变体。而与实际 SOTA 比:PAtteRNS p=4 参数量 3.4M vs TSViT 1.7M(整两倍),p=2 时 MACs 44.5G vs 36.8G(反而更高)。省的是相对自建串行基线的钱。作者也承认「Restricting the intermediate representation to class tokens cuts this cost」。

⑥ 最该知道的一条:零方差、零置信区间、零 p 值。

grep std / standard deviation / confidence / p-value / error bar 全部零命中。作者跑了 3 seed × 全 fold(Table 5/6 注明「3 iteratively-seeded repeats」),却只报均值不报任何离散度。所以「PAtteRNS 0.786 vs UTAE 0.782」这种 0.004 的差距完全无法判断是否超出种子噪声——而论文恰恰用这些亚 1% 的差距支撑「matches or exceeds UTAE on every metric」。

其余几处:

  • 类别分组缺陷的机制证据扎实:PASTIS 四个 taxonomical aggregate 类平均 recall 60.6%(PAtteRNS)/54.6%(TSViT)/52.5%(UTAE),剔除后 83.4%/81.0%/80.8%——三个模型同一模式,拖低约 23 点。但这是观察性对比,不是干预(没「拆开再训一次」)。
  • CRH 的收益有两个口径:给「时间+光谱、无空间 transformer」的模型加 CRH 是 +0.8 OA%/+4.1% mIoU/+13.5% mBIoU(「very significant」);给三 transformer 齐全的最终模型加,缩成 +0.5/+1.9/+2.7。摘要主推前者。
  • 对手有一格是空的:TSViT 在 PASTIS-128 p=2「exceeded GPU memory on all available hardware」,且 §5.1 承认未能复现 TSViT 原文报告的性能(「could not identify a specific cause」)。
  • UTAE 的复现比原文更好(OA 83.2%→83.8%),归因于训练轮数 100→150——「UTAE 是弱基线」这个质疑被部分消解,但也说明数据集上界对训练预算敏感。
  • 消融只在第一折(Table 2/3/4),主表却是全 fold 均值,两组口径不同不可交叉比。
一句话:这是一次方法论清算,模型侧的「首个」需要改用作者的窄版本。真正值得记住的是那句「此前无人做过跨块尺寸的同模型对照」(§2.4)——以及他们真的去做了,然后发现整张表都不该横向比。

w5_c5_tile.svg

*(SVG 动画卡:悬停/加载后动起来;静态截图看不全信息,数字以正文为准。)*

暂无表态