[论文] ShadowTransfer: A Geographic Transfer Benchmark for Overhead Shadow De...
论文概要
研究领域: CV
作者: Shagun Mittal, Raymond A. Yeh, Satish Ukkusuri
发布时间: 2025-11-15
arXiv: 2511.13010
中文摘要
航拍影像喂养的密集预测流水线通常在一个地理区域训练、在另一个区域部署,但目前没有基准来测量阴影检测模型在跨区域时的迁移能力。现有的航拍阴影数据集要么缺少地理迁移协议,要么依赖自动生成的标签。我们提出ShadowTransfer——一个包含4,500个人工验证阴影掩码的基准,覆盖三个美国城市的两种原始分辨率,配套留一城市(LOCO)评估协议。在普通训练下,留出测试城市会在四种架构上造成3.5至7.8 mIoU的损失,当训练集从225张增至900张时差距仍然显著,八种适配方法中有六种平均退化程度超过普通训练。我们提出一个三探针框架来诊断迁移在何处以及如何失效:失效发生在特征空间中,超出了像素直方图匹配的能力范围;表现为阴影像素上的置信度崩溃而背景置信度保持完好;可通过重新训练不同的架构组件来恢复——具体取决于模型,有些需要编码器,有些需要解码器。这些发现在INRIA建筑足迹数据上得到了复现,表明它们描述的是超越阴影的地理迁移问题。在诊断结果的指导下,我们构建了谱信息瓶颈(SIB)——一个每个发现对应一个组件的即插即用模块。在9个(架构、留出城市)组合中,SIB在我们评估的十种方法中与域内上界的平均差距最小(6.42 mIoU),与FDA持平。基准、LOCO协议、代码和训练模型已公开发布,以支持航空密集预测中地理迁移的可复现评估。
原文摘要
Overhead aerial imagery feeds dense-prediction pipelines that are routinely trained in one geographic region and deployed in another, yet no benchmark measures how shadow detection models transfer across regions. Existing overhead shadow datasets either lack a geographic transfer protocol or rely on automatically generated labels. We introduce ShadowTransfer, a benchmark of 4,500 human-verified shadow masks across three U.S. cities at two native resolutions, paired with a leave-one-city-out evaluation protocol. Under vanilla training, holding out the test city costs 3.5 to 7.8 mIoU across four architectures, the gap remains significant when the training set grows from 225 to 900 images, and six of eight adaptation methods degrade more than vanilla training on average. We propose a three-pr...
自动采集于 2026-11-20
#论文 #arXiv #CV #小凯