Vision Banana：能画就能看懂——图像生成模型天生是视觉理解大师

Vision Banana：能画就能看懂——图像生成模型天生是视觉理解大师

论文：Image Generators are Generalist Vision Learners

arXiv: 2604.20329 | 项目：https://vision-banana.github.io/

团队：Google DeepMind (Nano Banana Pro) | Kaiming He, Saining Xie 等

日期：2026-04-22

核心发现：一个颠覆性命题

图像生成模型在学会"画图"的那一刻，已经悄悄学会了"看懂世界"。

这听起来像是一句鸡汤，但它来自 Google DeepMind 的硬核研究。Vision Banana 用实验证明：生成式预训练不只是为了生成漂亮的图片，它本身就是最强大的视觉表征学习器。

传统计算机视觉的主流路径——监督判别、对比学习、自举学习、自编码——几乎与生成建模无关。虽然早期的生成式预训练随规模增长有上升趋势，但整体效果始终落后于非生成方法。

Vision Banana 彻底改变了这个叙事。

一、为什么这个方向长期被忽视？

1.1 两个世界的割裂

计算机视觉领域长期存在一条隐形的分界线：

• 理解阵营：ResNet、ViT、CLIP、SAM——目标是提取特征、分类、检测、分割
• 生成阵营：GAN、VAE、Diffusion、Autoregressive——目标是生成逼真的图像

1.2 早期的失败尝试

之前有人尝试将生成模型用于理解任务，但遇到两个问题：

1. 输出不可量化：让生成模型按指令输出分割结果，但它输出的是一团模糊的像素，无法精确评估 2. 通用性牺牲：需要添加特殊模块、全量微调，导致模型丧失通用性和生成能力

Vision Banana 解决了这两个问题。

二、Vision Banana 的技术方案

2.1 核心思想：感知即生成

将所有视觉任务的输出统一参数化为 RGB 图像。

这意味着：

• 语义分割 = 生成一张彩色标签图
• 深度估计 = 生成一张深度图（编码为RGB）
• 法向估计 = 生成一张法向图
• 边缘检测 = 生成一张边缘图
• 目标检测 = 生成一张带有边界框的图

2.2 模型架构

• 基础模型：Nano Banana Pro (NBP)
• 这是一个自回归图像生成模型，基于 Transformer 架构
• 将图像离散化为视觉 token，然后自回归地生成
• 训练方法：轻量级指令微调（Instruction Tuning）
• 将原始生成训练数据与少量视觉任务数据混合
• 比例极低：视觉任务数据只占很小一部分
• 无需额外模块：不添加特殊头、不修改架构、不改损失函数

2.3 为什么是"轻量级"？

这是论文最震撼的发现之一：

仅需在原始训练数据中混入极低比例的视觉任务数据，就能让模型在理解任务上达到或超越专用模型。

不需要：

• ❌ 大规模重新训练
• ❌ 添加专门的解码头
• ❌ 修改模型架构
• ❌ 牺牲生成能力

三、实验结果：吊打专用模型

3.1 语义分割

Vision Banana 在语义分割任务上匹配或超越 Segment Anything Model 3 (SAM 3)。

SAM 3 是 Meta 投入巨大资源开发的专用分割模型，有专门的架构、专门的训练数据、专门的优化。Vision Banana 作为一个通用模型，仅通过轻量微调就能达到同等水平。

3.2 深度估计

在单目深度估计上，Vision Banana 匹配或超越 Depth Anything 3。

Depth Anything 系列是专门的深度估计模型，有大量针对深度估计的优化。Vision Banana 作为一个通用模型，同样通过轻量微调实现。

3.3 其他任务

论文提到在多种2D和3D理解任务上都达到了 SOTA 或接近 SOTA 的水平，包括：

• 法向估计
• 边缘检测
• 目标检测
• 3D 理解任务

3.4 关键对比

四、范式转换的深层意义

4.1 生成式预训练 = 视觉的"GPT时刻"

在 NLP 领域，GPT 系列证明了一个核心命题：

语言模型的生成预训练，本身就是最强大的语言理解表征学习。

GPT 通过预测下一个 token 学会了语法、语义、推理、常识。这催生了现代的 LLM 范式。

Vision Banana 提出了视觉领域的对等命题：

图像生成模型的生成预训练，本身就是最强大的视觉表征学习。

生成模型通过预测下一个像素（或视觉 token），学会了：

• 物体的形状和结构
• 空间关系和深度
• 材质和纹理
• 光照和反射
• 场景的语义组成

4.2 统一接口：RGB 作为通用语言

论文提出了一个深刻的观点：

图像生成是视觉任务的统一和通用接口，类似于文本生成在语言理解和推理中的作用。

在 NLP 中，无论任务是什么（问答、翻译、摘要、推理），模型的输出都是文本 token。同样的，在视觉中，无论任务是什么（分割、深度、检测、生成），模型的输出都是 RGB 图像。

这种统一性意味着：

• 无需为每个任务设计专门的输出格式
• 无需专门的评估协议
• 人类可以直接理解模型的输出
• 模型可以无缝组合多个任务

4.3 可能正在发生的范式转变

论文结尾说：

"我们可能正在见证计算机视觉的重大范式转变，生成式视觉预训练在构建用于生成和理解的基础视觉模型中扮演核心角色。"

这不仅是技术路线的转变，更是对整个领域认知的重塑：

• 生成不再是理解的"副产品"
• 生成本身就是理解
• 能画的好，是因为看得懂

五、技术细节与实现

5.1 Nano Banana Pro (NBP) 基础

Nano Banana Pro 是一个自回归图像生成模型：

• 基于视觉 token 的离散化表示
• Transformer 架构，自回归生成
• 大规模图像生成预训练

5.2 指令微调策略

• 数据来源：混合原始生成训练数据 + 少量视觉任务数据
• 数据比例：视觉任务数据比例极低（论文未给出具体数字，但强调"very low proportion"）
• 训练方式：在原始训练流程中直接混入，无需特殊处理
• 提示格式：自然语言指令描述任务，如"对这张图像进行语义分割，类别X用颜色(255,255,0)表示..."

5.3 输出参数化

关键创新：将视觉任务输出统一为 RGB 图像：

• 语义分割：每个类别对应一个特定的 RGB 颜色
• 深度估计：深度值编码为 RGB 颜色（如灰度图）
• 法向估计：法向向量编码为 RGB
• 边缘检测：边缘为白色，背景为黑色

• 生成模型可以直接输出（不需要新输出格式）
• 人类可以直接可视化结果
• 评估可以直接用像素级对比

六、局限性与开放问题

6.1 已知局限

1. 任务覆盖：论文主要展示了2D任务，3D任务的展示相对有限 2. 精度上限：虽然匹配或超越专用模型，但可能未在所有子任务上全面超越 3. 效率：生成模型通常比判别模型慢，实时应用可能受限 4. 数据依赖：虽然视觉任务数据比例低，但仍需要高质量的任务数据

6.2 开放问题

1. 规模定律：生成式预训练的效果是否随模型规模持续增长？是否存在"涌现能力"？ 2. 多模态：这种范式能否扩展到视频、3D、多模态？ 3. 效率优化：如何加速生成式理解，使其适用于实时应用？ 4. 与 LLM 的融合：统一文本和视觉的生成式理解，实现真正的多模态通用智能

七、影响与展望

7.1 对视觉基础模型的重新定义

传统上，视觉基础模型（如 CLIP、DINO）是判别式的。Vision Banana 提出：

生成式视觉预训练才是基础模型的真正形态。

这意味着：

• 未来的视觉基础模型可能都是生成式的
• 理解和生成不再是两个独立的领域
• 一个模型可以同时进行生成和理解

7.2 对应用的影响

• 机器人：机器人可以生成对场景的理解（分割、深度、法向），同时生成操作计划
• 自动驾驶：统一模型同时进行场景理解和生成（仿真、预测）
• 内容创作：理解内容（分析、编辑）和生成内容（创作、合成）在同一个模型中
• 科学可视化：统一科学数据的理解和生成

7.3 与 LLM 的汇流

最终，我们可能会看到：

• 文本 LLM：生成文本 token，理解语言
• 视觉 "VLM"：生成视觉 token，理解视觉
• 多模态 LLM：统一生成文本和视觉，实现真正的通用智能

八、结论

Vision Banana 是一篇具有范式转变意义的论文。它证明了：

1. 图像生成预训练本身就是最强大的视觉表征学习 2. 生成式模型无需牺牲生成能力就能成为理解大师 3. RGB 图像可以作为视觉任务的统一接口 4. 轻量级指令微调就能让通用生成模型超越专用理解模型

如果 NLP 领域的 GPT 证明了"能写就能懂"，那么 Vision Banana 证明了"能画就能看懂"。

我们可能正在见证计算机视觉的"GPT时刻"。

参考信息

• 论文：https://arxiv.org/pdf/2604.20329
• 项目主页：https://vision-banana.github.io/
• 作者团队：Google DeepMind (Nano Banana Pro)，含 Kaiming He, Saining Xie 等
• 发表时间：2026-04-22