> 夫 AI 之进，日月异焉。视觉语言之术既熟，乃生动作之能；具身智能之兴，实乃 VLA 之所长。今比二者之异同，以明其分际、辨其优劣，俾来者有所取法云尔。

---

第一篇：VLA 与 VLM 深度对比分析

一、先搞清楚它们分别是什么

VLM（Vision-Language Model），说白了就是"能看图说话"的模型。给它一张图加一句话，它能描述图里有什么、回答和图相关的问题、或者生成一段说明文字。它的输出始终是文字——哪怕推理再复杂，最终给到你的还是自然语言。

VLA（Vision-Language-Action Model），在 VLM 的基础上多了一层：它不光理解图和指令，还能直接输出动作。比如让机械臂"把红色盒子拿过来"，VLM 会告诉你"盒子在左边第二层"，VLA 则直接给出机械臂的关节角度和控制指令，让机器人真正动起来。

核心区别就一句话：VLM 输出文字，VLA 输出动作。

---

二、架构上到底差在哪儿

VLM 的架构路数

现在的 VLM 大多走同一套路子：拿一个预训练好的大语言模型（LLM）当主干，前面接一个视觉编码器（通常用 ViT），中间加几层投影层把图像特征映射到语言模型的词表空间。

这条路线最早的代表是 CLIP（2021），它用对比学习把图像和文本对齐到同一个表示空间。后来的 Flamingo、BLIP 开始往生成方向走。到了 LLaVA（2023）出来之后，"视觉编码器 + 投影层 + 预训练 LLM"这个组合基本成了标准答案，之后的 Qwen2-VL、LLaMA 3.2 Vision 都沿这条路走。

最新的尝试（比如 Emu3）开始往"原生多模态"方向走——不让视觉和语言分开编码，而是从 Token 层面就统一处理。这条路还在探索中。

VLA 的架构路数

VLA 基本上是在 VLM 的架构上"动刀子"——视觉编码器和语言编码器保留，但输出层要改，得能生成动作。

目前主流的实现方式有几类：

端到端派：直接从图像生成电机指令，不中间拆解。代表是 RT-1、RT-2（Google）、OpenVLA。好处是简单直接，坏处是泛化能力受限，换个机器人可能就得重新训。

双系统派：NVIDIA 的 GR00T N1 是这个思路的代表——"系统1"负责快速反应（延迟能做到 10ms 级），"系统2"负责慢速推理和规划。人脑本来就是这么工作的，这个类比很直观。

分层派：上层用 LLM 做任务规划和子目标生成，下层用专门的控制器执行。CogACT、NaVILA 属于这类。好处是模块化、好调试，坏处是延迟累加。

自校正派：正常情况走快速推理路径，检测到失败时激活 LLM 做诊断和恢复。SC-VLA 是这个思路。实际部署时这个设计很有价值——机器人总会有搞不定的情况，能自己"想一想哪里出错了"比直接卡死强。

---

三、训练数据：一个富一个穷

这是两者最现实的差别之一。

VLM 的数据主要来自互联网：LAION、COCO、Visual Genome 这些数据集，规模都是亿级起跳。图文对从网上爬，标注可以半自动生成。数据多、成本低，所以 VLM 的预训练基本不愁数据。

VLA 的数据就没这么好了。你得有真实的机器人演示数据——每一帧都要同步记录：相机拍到了什么、机器人关节角度是多少、夹爪开了多大、这条轨迹最终成没成功。这个数据要么靠人戴着 VR 设备远程操作采集，要么让机器人自己试错（强化学习），要么用仿真器生成（Sim2Real）。

Open X-Embodiment 数据集是目前最大的公开机器人数据集之一，但跟 LAION 比起来规模还是小得多。数据少直接导致 VLA 的泛化能力不如 VLM——这也是为什么现在很多人研究怎么用仿真数据弥补真实数据的不足。

另一个实际问题是：VLA 对视觉编码器的要求其实比 VLM 更高。VLM 只要能"描述"图里有什么就行，VLA 则需要视觉特征能支撑精确的动作生成——比如抓取位姿的预测，对空间精度的要求高得多。有研究表明，给 VLA 的视觉编码器加上控制相关的监督信号，比优化语言模块收益更大。

---

四、训练方式的不同

VLM 的训练基本分两步：先在大规模图文对上做预训练（对比学习或者图文匹配），再在下游任务上微调（VQA、Caption 等）。现在很多模型直接用 LoRA 之类的参数高效方法微调，成本可控。

VLA 的训练复杂得多：

• 预训练阶段通常直接用预训练好的 VLM 初始化（视觉编码器和语言编码器都复用），然后扩展动作词表
• 微调阶段用机器人演示数据训练动作预测，损失函数不再是交叉熵，而是动作空间的回归损失（或者离散化后的分类损失）
• 实际训练中还会加入 Sim2Real 迁移、课程学习、多任务联合训练等技巧

一个值得注意的现象：VLM 的通用能力（比如 VQA 准确率）并不能直接预测它在 VLA 里的表现。一个 VLM 在图文理解榜单上刷出高分，不代表它适合做机器人控制。反过来也一样——有些在 VLM 榜单上表现一般的模型，在 VLA 任务上反而好用。所以选 VLA 的骨干网络时，不能只看 VLM 的榜单。

---

五、输出和部署：延迟是硬约束

这是实际部署时最要命的差别。

VLM 的输出是文本 Token，多数应用场景对延迟的要求不算极端——做个图像描述、回答个问题，等个几秒用户通常能接受。当然实时对话场景除外，但那是另一个问题。

VLA 的输出是动作指令，延迟直接决定控制稳定性。机械臂的控制周期通常在 10ms 量级，如果模型推理要花 100ms，控制回路就会变得极难调稳。人形机器人的情况更极端——全身协调控制对时序一致性的要求非常高，延迟抖动可能导致摔倒。

所以现在 VLA 的一个研究方向就是"怎么让大模型跑得够快"——模型蒸馏、量化、早期退出、轻量化架构，各种加速手段都在尝试。NVIDIA GR00T N1 的"双系统"设计，本质上也是为了解决这个问题：需要快速反应的部分用轻量模型，复杂推理的部分用大模型异步处理。

另一个部署层面的差别是失败成本。VLM 输出错了，大不了答案不对、描述有偏差；VLA 输出错了，可能撞坏东西、伤到人、或者让机器人把自己扭坏。所以 VLA 的部署通常需要额外的安全校验层、动作边界限制、以及失败恢复机制，这些在 VLA 的论文里经常被称为"安全对齐"问题。

---

六、应用场景：什么时候用哪个

这个其实很直接：

只用 VLM 的场景：系统不需要直接控制物理设备。比如仓库里的物料识别（拍张照，告诉你"这是 A 类零件"）、机器人操作日志的离线分析、场景语义标注，这些任务 VLM 做就很合适。

用 VLA 的场景：需要端到端控制的任务。比如机械臂抓取、人形机器人行走、自动驾驶（端到端方案）、无人机导航。这些场景里，从感知到动作的闭环必须实时完成，VLA 是更自然的选择。

VLM + VLA 混合架构：这是目前大多数实际机器人系统采用的方案。VLM 做"大脑"——理解高层指令、做任务拆解、分析场景；VLA 或者专门的控制器做"小脑"——负责底层的动作生成和运动控制。比如一个仓库机器人：VLM 解析"去 A 货架第二层拿红色盒子"这条指令，生成子目标（"先走到 A 货架"、"识别红色盒子"、"规划抓取路径"），然后每个子目标交给底层的控制策略执行。这样模块化之后，调试和安全校验都更好做。

---

七、评估：离线指标不够用了

VLM 的评估相对成熟：VQA 准确率、Caption 的 BLEU/ROUGE 分数、 grounding 的 IoU，都有标准做法。当然 VLM 也有自己的问题——比如"幻觉"（图里没有的东西，模型说有），这方面现在有专门的基准测试。

VLA 的评估就麻烦得多。任务成功率是最常用的指标，但光看成功率会漏掉很多重要信息：

• 任务失败了，是因为感知错了还是动作生成错了？
• 环境稍微变一下（换个光照、换个背景），模型还能工作吗？
• 动作的执行效率高不高？绕了远路也算成功，但没人想要这样的机器人。
• 出错了能不能自己恢复？还是直接卡死？

所以现在 VLA 的评估越来越强调鲁棒性、安全性、恢复能力这些维度，而不只是任务成功率。这也意味着 VLA 的评估不能只跑离线基准，必须在真实机器人（或者高保真仿真器）上测，成本比 VLM 的评估高得多。

---

八、当前的瓶颈和接下来的方向

VLM 这边，主要问题是幻觉、对齐、公平性。模型会"自信地胡说"——图里没有的东西，它描述得有鼻子有眼。这个问题在需要高可靠性的场景（比如医疗、工业检测）里是硬伤。现在的解决方向包括更好的对齐训练（RLHF、DPO 这些）、多模态推理链、以及用外部工具做事实核查。

VLA 这边，问题更分散： 1. 数据稀缺：真实机器人数据太难采集，这是最根本的瓶颈。现在大家都在研究怎么用仿真数据、用合成数据、用少样本学习来缓解。 2. Sim2Real 差距：仿真里训好的模型，搬到真实机器人上性能会掉。这个老问题至今没有完全解决。 3. 安全验证：怎么保证 VLA 的输出不会导致危险动作？这个在工业机器人、人形机器人这些场景里是必须解决的问题，但现在还缺乏系统性的方法。 4. 延迟 vs 性能的平衡：模型越大效果越好，但越大越慢。怎么在性能和速度之间找平衡点，是工程上的持续挑战。

---

九、一些具体的模型

VLM 这边，值得关注的：

• CLIP（OpenAI，2021）：对比学习的经典之作，后续很多模型都拿它做视觉编码器
• LLaVA 系列（2023-2025）：开源 VLM 的代表，社区活跃
• Qwen2-VL / Qwen3：阿里巴巴出品，中文场景表现好
• Emu3（2024）：尝试原生多模态统一架构，不分开处理视觉和语言

VLA 这边，这几年出的模型已经不少了：

• RT-1 / RT-2（Google，2022-2023）：端到端 VLA 的早期代表
• OpenVLA（2024）：开源的通用 VLA 模型，社区在用它做各种扩展
• GR00T N1（NVIDIA，2025）：双系统架构，针对人形机器人
• Pi-0（2024）：专注灵巧操作的 VLA 模型
• 专门场景的 VLA：自动驾驶（CoVLA、OpenDriveVLA）、医疗机器人、农业机器人，各有各的定制版本

---

十、简单总结

VLM：看懂世界，说出来——输出是文字
VLA：看懂世界，动起来——输出是动作

两者不是替代关系，是递进关系。
VLM 是 VLA 的基础，VLA 是 VLM 往具身智能方向的延伸。

实际做系统的时候，大多数情况是用 VLM 做感知和规划，
用 VLA（或者专门的控制策略）做执行——各取所长。

如果只记住一句话：VLM 的输出是文本，VLA 的输出是动作，这是两者之间最根本的界线。

--- ---

第二篇：Gemini 与 Gemma 架构深度调研

> 夫多模态模型之架构，近三年间数度嬗变。自 CLIP 对比学习之双塔，至 LLaVA 式"外接视觉编码器"之拼接方案，再至 Gemini 所倡之"原生多模态"，以至于 Gemma 4 之"无编码器"新局——其间分际何在、优劣若何，实乃当前多模态研究之核心问题。今广搜博采，遍查技术报告与架构分析，以明其实。

---

一、先明其界说："原生多模态"何谓也？

欲辨 Gemini 与 Gemma 是否"原生多模态"，须先明此词之准确定义。今综核各家之说，得"原生多模态"之核心特征如下：

原生多模态（Native Multimodal）者，乃模型从训练之初即于多模态交织数据上联合训练，非先训单模态组件、而后拼接之也。其关键判别标准有四：

判别维度	LLM+ViT 拼接式（非原生）	原生多模态
训练方式	先训 ViT（CLIP），再训 LLM，最后训投影层	从初即于文本、图像、音频、视频交织之数据上联合预训练
编码器结构	独立之视觉编码器（通常冻结或部分微调），经投影层对接 LLM	无独立之冻结编码器；或共用统一 Transformer 主干，或仅用极轻量之嵌入模块
跨模态融合深度	仅在投影层发生浅层融合；编码器与 LLM 内部无跨模态信息流动	跨模态注意力在所有 Transformer 层中深度发生；图像 token 与文本 token 在每一层皆可互相 attend
模态等价性	视觉特征需"翻译"为 LLM 可懂之词向量	各模态 token 在模型内部地位平等，无"翻译"之过程

要言之：拼接式者，如以胶水粘合两物，虽可合用，其接合处终为弱点；原生多模态者，如铸铜为一器，各模态自初即交融不分，其力乃强。

---

二、Gemini 架构考：确系原生多模态

2.1 官方之宣称

Google DeepMind 于 Gemini 1.0 技术报告中明言：

> "Gemini trains natively multimodal models over text, images, audio, and video interleaved in context — from the ground up, not by bolting a frozen vision encoder onto a text decoder."

此语最为关键——"非将冻结之视觉编码器螺栓固定于文本解码器之上"——正是对 LLaVA 式拼接方案之直接否定。

2.2 架构之实情（据多方技术分析）

据 spawn08.github.io 之 Gemini 架构综述及"万字硬核拆解"等技术分析，Gemini 之架构有如下特征：

编码方式：

• 文本：标准 BPE 分词，化为文本 token
• 图像：Vision Transformer 切分为 patch → 线性投影为 token（例如 256×256 图像切为 16×16 patch，共得 256 个视觉 token）
• 音频：频谱图 → 编码为 token（或采用改进版 USM 及 VQ-VAE 技术，离散化为 token）
• 视频：帧级 patch token 加时间编码，通过时间子采样控制 token 数量；视频不再被视为一帧帧独立之图像，而是切分为时空立方体（spatiotemporal patches），使模型能理解"因果关系"与"物理运动"

融合方式：

• 所有模态之 token 输入同一个 Transformer 解码器
• 模型不会通过 token 本身区分"此为图像"或"此为文本"，仅通过 token 嵌入中的模态标识区分模态类型
• 跨模态注意力在所有 Transformer 层中深度发生：图像 token 可与文本 token 互相 attend，无需额外之跨模态融合模块
• 序列可任意交织（interleaved）：[文本, 图像, 视频片段, 文本, 音频] 之任意顺序均可处理

训练方式：

• 统一自回归目标：所有模态之 token 被展平为单一序列 $z$，训练目标为自回归预测下一 token
• 其中 $z=(z_1, z_2, \ldots, z_T)$ 为混合了文本 token、图像 patch token、音频 token 等之序列
• 模型在预训练阶段即学习图像 patch 后接文本 token 时之语义关联

MoE 架构（Gemini 3.0 及以后）：

• 将 MoE（混合专家模型）架构推向极致
• 细粒度路由（Fine-grained Routing）：处理简单语法连接词时，路由门控（Router）仅激活极小部分参数；进行复杂视觉代码重构时，则激活高维推理专家
• 模态感知专家（Modality-Aware Experts）：存在专门针对"视觉纹理"、"音频频谱"、"代码逻辑"优化之专家组；处理多模态 token 时，Router 根据 Modality ID 将其分发给最擅长之专家

2.3 Gemini 架构之未明之处

臣须诚实禀报：Gemini 之官方技术报告（arXiv:2312.11805）未详细披露架构之全部细节。Google 未如 Meta 发布 LLaVA 那般开源其完整架构，故以上分析多基于技术分析及部分披露之信息。然"从底向上训练原生多模态"之核心宣称，已于多处官方文献中确认，应属可信。

结论：Gemini（1.0 及以后）确系原生多模态架构，非 LLaVA 式 LLM+ViT 拼接方案。

---

三、Gemma 架构考：Gemma 3 与 Gemma 4 之根本转折

3.1 Gemma 3：确为 LLM+ViT 拼接式（非原生多模态）

据 Gemma 3 官方技术报告（arXiv:2503.19786），其架构如下：

视觉集成方案：

• 采用分离式多模态架构，即独立视觉编码器 + 大语言模型之结构
• 视觉编码器：400M 参数之 SigLIP 变体（基于 ViT，以 CLIP 损失之变体训练）
• 输入要求：图像统一 resize 为 896×896
• 4B、12B、27B 模型共用同一个视觉编码器，训练过程中编码器参数冻结（frozen）；1B 模型无视觉编码器，不支持多模态

图像 token 处理与跨模态融合：

• 图像经 SigLIP 编码后，被转换为固定长度为 256 之软 token 序列，作为图像特征输入到大语言模型中，与文本 token 进行拼接后统一处理
• 该设计大幅降低了推理时之图像计算成本

结论：Gemma 3 确为 LLM+ViT 之拼接式架构，非原生多模态。其方案与 LLaVA 高度相似：预训练之 SigLIP 视觉编码器（冻结）+ 投影层 + 预训练 LLM。

3.2 Gemma 4 12B：转为无编码器之原生多模态架构

2026 年 6 月 3 日，Google 发布 Gemma 4 12B，其架构发生根本转折。

官方明言（Google 官方博客）：

> "Traditional multimodal models typically rely on separate encoders to translate images and audio before passing those representations to the language model. Because these separate encoders add latency and increase memory usage, we trained Gemma 4 12B with an encoder-free architecture to integrate audio and vision input directly." > > "It is also our first mid-sized model to feature native audio inputs."

无编码器架构之具体实现：

视觉输入处理：

• 完全抛弃了独立之视觉编码器
• 替换为仅包含单次矩阵乘法、位置嵌入和归一化操作之轻量级嵌入模块（3500 万参数），替代了原先 27 层之视觉 Transformer
• 原始 48×48 像素之图像块通过单次矩阵乘法投影到 LLM 之隐藏维度
• 后续之视觉处理完全由 LLM 主干完成

音频输入处理：

• 完全移除音频编码器（跳过了 Gemma 4 E2B 和 E4B 中使用之 12 层 Conformer 层）
• 原始 16kHz 音频信号被切分为 40ms 之帧，线性投影到 LLM 之输入空间，无需先经过独立音频编码器编码

模态融合方式：

• 视觉、音频和文本输入共享完全相同之权重
• 多模态输入经过轻量级嵌入模块处理后，直接输入到统一之仅解码器 Transformer 中
• 无需单独之编码器输出对齐流程

结论：Gemma 4 12B 确为无编码器之原生多模态架构。从 Gemma 3 之 LLM+ViT 拼接式，到 Gemma 4 之无编码器统一架构——此乃 Gemma 系列之根本转折，亦折射出整个多模态架构演进之方向。

---

四、VLM 架构演进之三时代：以为统摄

据多位研究者之整理，VLM 之架构演进可分为三个时代，而 Era 3 又分两枝：

Era 1（早期，2021-2022）：双塔 + 可学习跨模态桥

• 架构：使用可学习之跨模态桥（如 Q-Former），将冻结之视觉编码器连接到冻结之语言模型
• 代表：CLIP、BLIP、Flamingo

Era 2（2023-2025）：预训练 LLM 为中心，视觉为可插拔适配器

• 架构：将预训练 LLM 作为主干，视觉视为可插拔之适配器，通过 MLP / Resampler 将视觉 token 投影到 LLM 之词表空间
• 代表：LLaVA、Qwen2.5-VL、GPT-4V（早期）

Era 3（2025-2026，最新一代）：完全去掉桥接结构，沿输出维度分叉为两枝

Era 3 之共同特征：完全去掉桥接模块；图像、视频、（有时）音频共享单一 tokenizer / 嵌入空间；通过单一 Transformer 从零训练。

#### Era 3a — 原生多模态输入 → 文本输出（当前之通用旗舰模型）

• 代表模型：Qwen3.5 / Qwen3.6、Gemma 4、Gemini 3、GPT-5.4、Phi-4-Reasoning-Vision、Claude Opus 4.6

#### Era 3b — 全能模态统一输入/输出（Omni-Modal Unified I/O）

• 在融合主干之上增加专用解码器头（图像 VAE / MMDiT / flow-matching；音频编解码解码器头）
• 模型可以原生生成文本、图像和/或语音
• 代表模型：BAGEL、Qwen3.5-Omni、InternVL-U、Emu3 / Emu3.5、Janus-Pro、Ernie 5.0

---

五、综合比对：Gemini、Gemma 3、Gemma 4 之架构异同

比对维度	Gemini 1.0~3.0	Gemma 3	Gemma 4 12B
是否原生多模态	是	否	是
编码器结构	无独立冻结编码器；模态特定嵌入层 + 统一 Transformer 主干	独立 SigLIP ViT 编码器（400M），训练时冻结	无独立编码器；35M 参数轻量级嵌入模块
视觉集成方式	图像 patch → 线性投影 → 统一 token 序列	SigLIP 编码 → 256 软 token → 拼接至文本 token	原始图像块 → 单次矩阵乘法 → LLM 主干
音频集成方式	音频 → 离散 token 化 → 统一 token 序列	不支持音频	原始音频帧 → 线性投影 → LLM 主干（原生音频输入）
跨模态融合深度	所有 Transformer 层中深度融合	仅在投影层浅层融合	所有 Transformer 层中深度融合
训练方式	多模态交织数据上联合预训练	分阶段：先训 SigLIP，再训投影层，再微调 LLM	端到端联合训练；视觉、音频、文本共享权重
开源/闭源	闭源（仅 API 可用）	开源（Apache 2.0）	开源（Apache 2.0）
显存需求	依 API 定价	27B 需较大显存	仅需 16GB 显存

---

六、深度讨论：原生多模态是否一定优于拼接式？

臣以为，此事不可一概而论。原生多模态有其长，亦有其短；拼接式虽被诟病，亦有其实务价值。

原生多模态之长

1. 跨模态深度融合：因跨模态注意力在所有层中发生，模型能捕捉到拼接式方案丢失之细微跨模态关联。 2. 模态平等：对模型而言，一个图像 patch 与一个单词 token 在物理层面上是平等之序列元素，无"主从"之分。 3. 端到端优化：联合预训练使得整个模型可从底向上针对多模态任务优化。

原生多模态之短

1. 训练成本极高：联合预训练需大规模多模态交织数据，且训练时无法复用已在单模态上预训练好之组件，计算成本远高於拼接式。 2. 组件无法独立替换：拼接式方案之优势在于可方便地替换视觉编码器或 LLM 主干；原生多模态方案中各组件深度融合，替换任一部分往往需重新训练整个模型。

拼接式（LLM+ViT）之长

1. 训练成本低：可复用已在单模态上预训练好之组件，仅需训练轻量投影层，成本极低。 2. 组件可独立替换与升级：可根据需要更换更强之视觉编码器或 LLM 主干，无需重新训练整个模型。 3. 开源生态成熟：LLaVA、Qwen2-VL 等拼接式方案有成熟之开源实现与社区支持。

---

七、结论

综核上述调研，臣得出以下结论：

1. Gemini（1.0 及以后）确系原生多模态架构。其从底向上于多模态交织数据上联合预训练，无独立之冻结视觉编码器，跨模态融合在所有 Transformer 层中深度发生。

2. Gemma 3 非原生多模态，确为 LLM+ViT 拼接式架构。其采用 SigLIP 视觉编码器（冻结）+ 投影层 + LLM 之方案，与 LLaVA 高度相似。

3. Gemma 4 12B 已转为原生多模态架构（无编码器架构）。此乃 Gemma 系列之根本转折，亦折射出整个多模态架构演进之方向。

4. 架构演进之大势已明：2026 年之主流旗舰模型（Gemini 3、Gemma 4、Qwen3.5、GPT-5.4 等）均已采用 Era 3a 之原生多模态输入架构。

---

参考文献

1. Gemini 1.0 Technical Report: *Gemini: A Family of Highly Capable Multimodal Models*, arXiv:2312.11805, Google DeepMind, 2023 2. Gemma 3 Technical Report, arXiv:2503.19786, Google DeepMind, 2025 3. Gemma 4 12B Announcement, Google Official Blog, 2026-06-03 4. *A Survey of State of the Art Large Vision Language Models*, arXiv:2501.02189, CVPR 2025 Workshop 5. Vision-Language Models Overview: https://github.com/zli12321/Vision-Language-Models-Overview 6. 万字硬核拆解：Gemini 3.0 架构革新，多模态原生模型, Jishuzhan, 2025-12-01 7. Gemini 3.0 Pro 原生多模态能力的边界与工程落地, 知乎, 2025-12-23