论文1：视觉的巴别塔倒塌之后——当所有眼睛学会同一种语言

论文信息

标题: Vision as Unified Multimodal Generation
作者: Xiaoyang Han, Jianhua Li, Kewang Deng 等（商汤科技 & 上海AI Lab）
arXiv: 2607.06560
领域: 计算机视觉 / 多模态学习

---

🎭 序幕：一座巴别塔的寓言

在《圣经》的创世记中，人类曾经说着同一种语言，齐心协力建造一座通天高塔。上帝看到这座塔，说："看哪，他们成为一样的人民，都是一样的语言，如今既做起这事来，以后他们要做的事就没有不成就的了。"于是上帝变乱了人类的语言，使众人分散在全地上，那座塔便停工了——后人称之为巴别塔。

在计算机视觉的世界里，我们也有一座巴别塔。只不过，它不是用砖石建造的，而是用代码和神经网络层。

这座塔已经存在了很多年。在塔的东面，住着做目标检测的人，他们说的语言叫"边界框"和"锚点"；在塔的西面，住着做语义分割的人，他们说的是"像素级分类"和"掩码"；北面是做深度估计的人，他们谈论的是"视差"和"三角测量"；南面是做姿态估计的人，他们的语言是"关键点"和"骨骼图"。每个方向的研究者都在自己的方言里辛勤工作，创造出了专门的模型架构、损失函数、数据格式和评估标准。

他们各自的工作都很出色。YOLO 系列让目标检测快到可以实时运行；SAM 让分割变得像点击几下鼠标一样简单；MiDaS 让单目深度估计达到了惊人的精度。但问题是：这些系统几乎无法对话。一个检测模型无法帮你分割，一个分割模型无法告诉你深度，一个深度模型无法识别关键点。如果你想让 AI 同时做几件事，你需要堆叠多个专门的模型，每个模型都有自己的输入输出格式、预处理流程和后处理逻辑。

这就像让说中文、阿拉伯语、斯瓦希里语和冰岛语的人一起完成一个项目——理论上可行，但沟通协调的成本高得惊人。

而今天的这篇论文，就像是有人终于说："等等，如果我们让所有人都说同一种语言呢？"

---

🔬 第一章：从"任务专用"到"通用生成"

1.1 视觉任务的碎片化现状

让我们先理解一下，计算机视觉为什么变得如此"碎片化"。

计算机视觉的任务可以粗略地分成几大类：

结构化理解任务（Structured Visual Understanding）：比如目标检测、OCR（文字识别）、关键点检测。这些任务需要输出符号化的信息——边界框的坐标、识别出的文字、关键点的位置。它们的输出是离散的、结构化的。

密集几何预测任务（Dense Geometric Prediction）：比如深度估计、表面法线预测、相机姿态估计。这些任务需要为图像中的每个像素或每个区域输出连续的几何量。它们的输出是密集的、连续的场。

分割任务（Segmentation）：语义分割、实例分割、全景分割。这些任务需要为每个像素分配一个类别标签或实例 ID。输出是像素级的分类掩码。

多视图几何任务（Multi-view Visual Geometry）：比如从多个视角重建三维结构、相机标定、立体匹配。这些任务涉及多张图像之间的空间关系。

每一类任务都发展出了专门的架构。检测有 YOLO、R-CNN 系列；分割有 U-Net、Mask R-CNN；深度估计有 DPT、MiDaS；姿态估计有 OpenPose、MediaPipe。这些模型内部的层结构、损失函数、输出格式都截然不同。

为什么会这样？因为每个任务看起来确实需要不同的"工具"。检测需要输出矩形框，分割需要输出像素级掩码，深度估计需要输出灰度值图。这些输出格式差异巨大，使得研究者自然而然地走向了"专才"路线——每个任务训练一个专门的模型，使用专门的头部（prediction head）和专门的数据集。

1.2 统一模型的诱惑

但统一模型（unified model）的诱惑一直存在。如果能有一个模型同时做所有这些事情，会带来什么好处？

首先，参数共享。一个统一的骨干网络可以学习通用的视觉表征，这些表征对所有任务都有用。这类似于人类大脑——我们不会为看猫、看狗、读文字、判断距离分别使用不同的大脑区域。大脑的视觉皮层处理的是通用的视觉特征，然后这些特征被不同的高级区域用于不同任务。

其次，跨任务迁移。在一个任务上学习到的知识可以迁移到其他任务。比如，一个模型在检测任务中学到的"什么是物体"的概念，可以帮助它在分割任务中更好地分离物体和背景。

再次，统一接口。用户不需要学习多个模型的 API，只需要和一个模型对话。这大大降低了使用门槛。

最后，规模效应。统一模型可以同时在所有任务的联合数据上训练，数据量越大，模型学到的表征越通用、越鲁棒。

过去已经有不少尝试统一视觉模型的努力。比如 DeepLab 系列尝试统一检测和分割，Mask2Former 尝试统一实例分割和语义分割，UniPerceiver 尝试用统一的注意力架构处理不同任务。但这些尝试通常只能在少数几个相关任务之间统一，或者需要复杂的任务特定的输出头部和训练策略。

这篇论文提出的 SenseNova-Vision，则走得更远。它不是在架构层面做统一，而是在范式层面做统一——它把所有视觉任务都重新表述为生成问题。

---

🧬 第二章：生成的统一语言

2.1 文本与图像作为通用接口

SenseNova-Vision 的核心洞察非常简单，但极其深刻：文本和图像生成已经是通用的接口了。如果一个模型能生成文本，能生成图像，那为什么不能让它生成检测结果、生成分割掩码、生成深度图呢？

想象一下，你有一个非常聪明的多模态大模型（比如 GPT-4V、Gemini、Claude 3）。你给这个模型一张图片，然后问它："请找出图片中的所有猫，并告诉我它们的位置。"模型可以输出文本回答："图片中有三只猫，分别位于坐标 (100, 200) 到 (300, 400) 的矩形框内..."

你看，检测任务已经通过文本输出来解决了。虽然这种纯文本输出的格式不够精确，但这个思路是对的：既然大模型能生成文本，那文本就可以承载任何符号化的视觉信息。

同理，如果你问模型："请给我这张图片的深度图。"模型可以直接生成一张图像作为回答。虽然现有模型可能做不到生成像素级精确的深度图，但理论上，图像生成接口可以输出任何密集的视觉预测。

SenseNova-Vision 就是把这种直觉推向了极致。它不使用任何任务特定的预测头部，而是完全依赖模型的原生生成能力：

符号化输出（如检测框、OCR 结果、关键点坐标）→ 生成文本
密集空间预测（如深度图、法线图、分割掩码）→ 生成图像
组合任务（如"找到红色的猫并分割出来"）→ 生成混合的文本+图像输出

2.2 SenseNova-Vision Corpus：统一训练数据

要让模型学会用生成的方式解决视觉任务，首先需要训练数据。但现有的视觉数据集都是任务特定的格式：COCO 是检测和分割格式，KITTI 是深度格式，ImageNet 是分类格式。

SenseNova-Vision 的作者们做了大量工作，将这些异构的数据集统一转换为指令-响应对（instruction-response pairs）的格式。具体来说，他们把每个视觉标注转换成自然语言指令，然后对应的响应是文本或图像。

举个例子：

原数据（COCO 检测）：一张图片 + 标注文件（包含边界框坐标和类别）
转换后：
指令："请检测图片中的所有物体，输出它们的类别和边界框。"
响应（文本）："图片中有：1. 猫，边界框 [100, 200, 300, 400]; 2. 狗，边界框 [500, 600, 700, 800]; ..."

再比如：

原数据（NYU Depth）：一张 RGB 图片 + 对应的深度图
转换后：
指令："请预测这张图片的深度图。"
响应（图像）：深度图本身

作者们收集了大量这样的数据，构成了 SenseNova-Vision Corpus。这个语料库涵盖了文本、图像、以及文本-图像混合的目标，覆盖了广泛的视觉任务：检测、OCR、关键点估计、分割、深度估计、表面法线预测、点图（point maps）、相机姿态估计等。

更厉害的是，因为指令是自然的语言，模型可以支持语言定义的变体。比如你可以问："请找到所有红色的车"、"请分割出大于 100 像素的区域"、"请检测戴帽子的人"。这些复杂的查询在传统的视觉模型中需要额外的逻辑层来处理，但 SenseNova-Vision 可以直接通过自然语言指令来指定。

2.3 训练策略：从预训练模型出发

SenseNova-Vision 的训练策略也很聪明。他们没有从零开始训练一个模型，而是从一个已经预训练好的统一多模态模型出发（类似一个已有的文本-图像生成模型）。然后，他们主要在这个视觉指令-响应语料库上训练，同时用一些辅助的多模态数据作为"能力保持混合"（capability-preserving mixture），防止模型在训练视觉任务时遗忘原来的通用能力。

关键的是，整个训练过程中不需要任何任务特定的预测头部或架构修改。模型本身是一个标准的文本-图像生成模型，只是训练数据换成了视觉任务的数据。

这就像教一个已经会画画和写字的人去学新的技能。你不需要改造他的手（架构），只需要给他新的练习册（数据），教他如何用已有的技能（写字和画画）来解决新的问题（视觉任务）。

---

🎯 第三章：它能做什么？

3.1 覆盖的视觉任务

SenseNova-Vision 支持的视觉任务包括：

1. 目标检测（Object Detection）：找到图像中的物体，输出类别和位置 2. OCR（Optical Character Recognition）：识别图像中的文字 3. 关键点估计（Keypoint Estimation）：检测人体、物体或场景的关键点（如人体骨骼关键点、面部特征点） 4. 分割（Segmentation）：语义分割、实例分割、全景分割 5. 深度估计（Depth Estimation）：预测每个像素到相机的距离 6. 表面法线预测（Surface Normal Prediction）：预测每个表面的朝向 7. 点图（Point Maps）：像素级对应到三维空间的坐标 8. 相机姿态估计（Camera Pose Estimation）：从图像推断相机的位置和朝向

而且，由于指令是自然的语言，模型支持复杂的组合查询。例如：

"请检测所有红色的苹果，并分割出它们。"
"请找到画面中最大的物体，告诉我它的深度和表面法线。"
"请在左下角的区域中检测所有车辆，输出它们的边界框和类别。"

3.2 性能表现

实验结果表明，这个单一的统一模型在多个视觉任务上匹配甚至超过了领先的任务专用系统：

在结构化视觉理解（检测、OCR、关键点）上，与专门模型相当
在密集几何预测（深度、法线、点图）上，达到领先水平
在分割任务上，保持竞争力
在多视图视觉几何（相机姿态估计）上，表现良好

这些结果非常有意义。它们表明，统一多模态生成是一条可行的、可扩展的路径，可以把计算机视觉的各种能力整合到通用基础模型中。

---

🧠 第四章：为什么这个方法有效？

4.1 生成模型已经学会了"世界模型"

要理解为什么 SenseNova-Vision 有效，我们需要理解现代大规模生成模型（特别是文本-图像模型）到底学到了什么。

当你在数十亿张图片-文本对上训练一个扩散模型（如 Stable Diffusion、DALL-E、FLUX）时，这个模型不只是学会了"根据文本描述生成图像"。它实际上学会了一个隐式的世界模型（world model）。

它学到了：

物体的三维形状和外观
光照和阴影的物理规律
空间关系和透视原理
物体的语义类别和属性
场景的上下文和常识

换句话说，这些模型已经在训练过程中内化了大量的视觉知识和物理知识。当你要求它生成"一只猫坐在沙发上"时，它需要知道猫长什么样、沙发长什么样、"坐"这个姿态意味着什么、光照应该如何、阴影应该如何。这些都是非常丰富的视觉和物理理解。

SenseNova-Vision 的核心洞察就是：既然模型已经学会了这些，为什么还需要额外的任务特定头部？直接让模型生成答案就可以了。

4.2 文本和图像作为通用表示空间

文本和图像是两种最通用的信息表示形式：

文本适合表示符号化、结构化、离散的信息。检测框、OCR 结果、类别标签、关键点坐标，这些都可以自然地用文本表示。
图像适合表示空间化的、密集的、连续的信息。深度图、法线图、分割掩码、注意力图，这些本质上就是图像。

现代多模态模型已经能够在这两种模态之间自由转换。它们可以把图像编码成内部的隐表示，然后解码成文本或新的图像。SenseNova-Vision 只是利用了这种已有的能力，把它引导到视觉任务上。

4.3 指令微调的力量

SenseNova-Vision 的训练方式是指令微调（instruction tuning）。这不是从零学习视觉知识，而是让模型学会如何组织它已有的视觉知识来回答特定的问题。

模型在预训练阶段已经见过海量的图像和文本，学会了丰富的视觉概念。指令微调阶段只是教会它：当用户问"请检测这张图片中的猫"时，应该输出什么样的文本格式；当用户要求"请给我深度图"时，应该生成什么样的图像。

这类似于一个人已经学会了看东西（预训练），现在只需要学会用特定的语言描述他看到的东西（指令微调）。

---

🔮 第五章：深远影响与未来方向

5.1 视觉研究的范式转移

如果 SenseNova-Vision 的方法成为主流，计算机视觉领域可能会经历一次深刻的范式转移：

从"任务专用模型"到"通用视觉助手"：不再需要为每个任务训练单独的模型，只需要一个通用模型，用户通过自然语言指令来指定任务。

从"标注数据"到"指令数据"：传统的视觉数据集需要昂贵的标注（画边界框、画掩码、标注深度）。而统一模型需要的是指令-响应对，这种数据更容易大规模收集和合成。

从"模型设计"到"提示工程"：研究人员可能不再需要设计新的模型架构，而是专注于设计更好的指令格式和提示策略来激发模型的能力。

5.2 对实际应用的影响

对于实际应用开发者，这意味着：

更低的集成成本：不再需要集成多个视觉模型，只需要一个模型和不同的提示。
更灵活的功能：用户可以通过自然语言描述任意组合的视觉任务，而不需要等待某个团队实现专门的模型。
更快的迭代：新任务只需要新的训练数据，不需要新的模型架构。

5.3 局限性与挑战

当然，这个方法也有局限性：

精度问题：虽然统一模型在多个任务上匹配了专用模型，但在某些对精度要求极高的任务上（如医学影像分割、自动驾驶深度估计），专用模型可能仍然更优。

效率问题：生成模型的推理通常比专门的判别模型慢。实时应用（如自动驾驶、机器人）可能需要更高效的推理。

可控性：生成模型的输出有时难以精确控制。虽然文本输出可以精确解析，但图像输出的像素级精度可能不如专门的回归模型。

训练成本：构建大规模的指令-响应视觉语料库需要巨大的计算和数据成本。

5.4 未来方向

SenseNova-Vision 为未来指明了几个方向：

1. 更强大的统一模型：随着基础模型规模的增长，统一模型的能力可能会继续提升，最终在所有视觉任务上超越专用模型。

2. 视频生成扩展：目前的 SenseNova-Vision 主要处理静态图像。扩展到视频理解和生成（时序一致性、运动预测）是自然的下一步。

3. 与机器人、具身智能的集成：如果视觉模型可以用自然语言指令来指定任务，那么机器人系统可以通过语言指令来"请求"视觉信息，实现更紧密的感知-行动闭环。

4. 3D 生成与理解：统一生成框架可以扩展到三维数据的生成和理解（如 3D 形状生成、NeRF 场景生成）。

---

📝 结语：巴别塔的倒塌与重建

SenseNova-Vision 的论文让我想起了一个有趣的悖论。在计算机视觉的历史中，我们先是建造了巴别塔——每个任务都有自己的语言、自己的模型、自己的文化。然后，现在有人提议：让所有人说生成模型的语言。

但这并不是让所有人说"同一种方言"然后压制多样性。恰恰相反，这是把多样性编码在统一的语言中。检测、分割、深度、姿态——这些任务不是消失了，而是变成了统一语言中的不同"句子"。你可以用同一种语言说"我爱你"，也可以说"请给我一杯咖啡"——语言是统一的，但表达的内容是无限丰富的。

如果 SenseNova-Vision 的愿景实现，未来的计算机视觉系统可能就像今天的大语言模型一样：一个通用系统，通过对话完成各种任务。你可以对它说："请看看这张图片，告诉我里面有什么，把它们分割出来，然后告诉我每个物体的深度。"它不会说"对不起，我只做检测"，而是会直接给你答案。

这不是巴别塔的重建，而是人类终于找到了一种不需要上帝干预就能共同工作的方式。

正如维特根斯坦在《逻辑哲学论》中所说："我的语言的界限意味着我的世界的界限。"当计算机视觉的所有任务都共享同一种生成语言时，AI 的视觉世界也将变得更加统一、更加丰富。

---

参考文献

Han, X., Li, J., Deng, K., et al. "Vision as Unified Multimodal Generation." arXiv:2607.06560, 2026.
相关基础模型：Stable Diffusion, DALL-E, FLUX, GPT-4V, Gemini
传统视觉架构：YOLO, R-CNN, U-Net, Mask R-CNN, MiDaS, DPT

#论文解读 #arXiv #计算机视觉 #多模态生成 #小凯