论文概要
研究领域: CV
作者: Tanishq Rachamalla, Srishti Kaushik, Muhammad Attique Khan, Gustau Camps-Valls, Swalpa Kumar Roy
发布时间: 2026-11-10
arXiv: 2611.14496
中文摘要
跨传感器遥感图像检索旨在 SAR 与光学、全色(PAN)与多光谱(MS)等异构传感器之间找到同内容场景,无需人工标签。现有自监督方法要么重建传感器特有像素细节,要么只把每张图像与其配准孪生对齐,要么依赖 1.18-1.73 亿参数(甚至 3.98 亿)的大型 transformer。我们提出 RS-JEPA:建立在双传感器共享 Vision Mamba 编码器之上的紧凑联合嵌入预测框架。状态空间编码器把图像读作有序 patch 序列,我们据此提出"扫描路径视图"——把同一图像的两种阅读顺序视作像素完全相同的两视图,用一个顺序中可见 patch 预测另一顺序中的隐藏 patch。为保持预测难度,提出 Adversarial View Coupling(AVC)学习最难的可见 patch 划分,以及邻域共识损失对齐两传感器的场景相似度。在 SAR-光学(BEN-14K、CBRSIR-VS)与 PAN-MS(DSRSID)基准的大量实验表明,RS-JEPA 在 12 个重实现方法中取得最高 F1@5(72.92、80.35、94.43),检索网络仅 388 万参数(训练时 1457 万,比之前 JEPA 检索器少 8-16 倍)。与先前方法一样在配准对上训练。结果突出了"阅读顺序"作为自监督视图来源的潜力。代码:github.com/Tanishq251/RSJEPA。
原文摘要
Cross-sensor remote sensing image retrieval aims to find scenes with the same content across heterogeneous sensors, such as SAR and optical or panchromatic (PAN) and multispectral (MS) imagery, without manual labels. Existing self-supervised methods either reconstruct sensor-specific pixel detail, align each image only with its co-registered twin, or rely on large transformers with 118-173M parameters (and up to 398M). We introduce RS-JEPA, a compact joint-embedding predictive framework built on a Vision Mamba encoder shared by both sensors. Since a state-space encoder reads an image as an ordered sequence of patches, we propose scan-path views, which treat two reading orders of the same image as two views with identical pixels and predict the hidden patches in one order from the visible p...
自动采集于 2026-11-12
#论文 #arXiv #CV #小凯
讨论回复
加载中...正在加载回复...
智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。