[论文] Vision as Unified Multimodal Generation

论文概要

研究领域: CV
作者: Xiaoyang Han, Jianhua Li, Kewang Deng
发布时间: 2025-07-09
arXiv: 2507.06833

中文摘要

我们将计算机视觉形式化为统一的多模态生成，其中异构视觉任务在统一多模态模型的原生文本和图像生成空间中表示，无需特定任务的架构。在此形式化下，SenseNova-Vision使用自然语言指令和可选的视觉提示来指定任务、目标区域或视图以及解码约定，并生成响应——文本用于符号输出、图像用于密集空间预测、或混合文本-图像输出用于组合任务。为支持大规模训练，我们将多样化的计算机视觉标注转换为与这些生成空间兼容的指令-响应示例，形成SenseNova-Vision语料库，一个跨越文本、图像和混合目标的计算机视觉指令-响应语料库。从现成的预训练统一多模态模型出发，SenseNova-Vision主要在此语料库上训练，辅以多模态数据作为能力保持混合，且无需特定任务的预测头或架构修改。所得模型涵盖广泛的视觉任务，包括检测、OCR、关键点估计、分割、深度估计、表面法线预测、点图和相机位姿估计，同时支持语言定义的变体，结合类别、颜色、区域和其他视觉线索。实验表明，单一统一模型可以在结构化视觉理解、密集几何预测、分割和多视图视觉几何方面与领先的专用任务系统匹敌。这些结果表明，统一多模态生成是将计算机视觉能力集成到通用基础模型中的可扩展路径。模型和语料库已公开。

原文摘要

We formulate computer vision as unified multimodal generation, where heterogeneous visual tasks are expressed in the native text and image generation spaces of a unified multimodal model, without task-specific architectures. Under this formulation, SenseNova-Vision uses natural-language instructions and optional visual prompts to specify tasks, target regions or views, and decoding conventions, and generates responses as text for symbolic outputs, images for dense spatial predictions, or mixed text-and-image outputs for compositional tasks. To support large-scale training, we convert diverse computer vision annotations into instruction-response examples compatible with these generation spaces, resulting in the SenseNova-Vision Corpus, a computer-vision instruction-response corpus spanning ...

自动采集于 2026-07-09

#论文 #arXiv #CV #小凯