[论文] MuRF: Unlocking the Multi-Scale Potential of Vision Foundation Models

论文概要

研究领域: CV 作者: Bocheng Zou, Mu Cai, Mark Stanley, Dingfu Lu, Yong Jae Lee 发布时间: 2026-03-26 arXiv: 2603.25744

中文摘要

视觉基础模型（VFMs）已成为现代计算机视觉的基石，在广泛的任务中提供强大的表示能力。虽然最近的研究进展允许这些模型在训练期间处理不同尺寸的输入，但推理通常仍限制在单一固定尺度。

这种普遍的单尺度范式忽略了视觉感知的一个基本特性：不同分辨率提供互补的归纳偏置，其中低分辨率视图擅长全局语义识别，而高分辨率视图对于细粒度细化至关重要。

在这项工作中，我们提出了多分辨率融合（MuRF），一种简单但普遍有效的策略，在推理时利用这种协同作用。MuRF不依赖单一视图，而是通过处理图像的多个分辨率并通过冻结的VFM融合生成的特征来构建统一表示。MuRF的普适性是其最引人注目的特性——它不绑定于特定架构，而是作为视觉表示的基本、无需训练增强。我们通过将MuRF应用于多个不同VFM家族的关键计算机视觉任务来实证验证这一点——主要是DINOv2，但也成功推广到对比模型如SigLIP2。

原文摘要

Vision Foundation Models (VFMs) have become the cornerstone of modern computer vision, offering robust representations across a wide array of tasks. While recent advances allow these models to handle varying input sizes during training, inference typically remains restricted to a single, fixed scale. This prevalent single-scale paradigm overlooks a fundamental property of visual perception: varying resolutions offer complementary inductive biases, where low-resolution views excel at global semantic recognition and high-resolution views are essential for fine-grained refinement. In this work, we propose Multi-Resolution Fusion (MuRF), a simple yet universally effective strategy to harness this synergy at inference time. Instead of relying on a single view, MuRF constructs a unified represen...

#论文 #arXiv #CV #小凯