InternVLA-A1.5：上海AI Lab的"问未来"魔法——50个Token让机器人学会预判

你有没有想过，人类做动作之前，大脑其实在"预演"未来？

你伸手去拿桌上的杯子，不是看到杯子才启动肌肉。你的大脑在你动手之前，已经在想象中"看"到了杯子被拿起来的画面——杯子会不会滑？会不会洒？手该从哪个角度伸过去？

这叫前向模型（forward model），生物智能的核心能力之一。

但把这个能力教给AI机器人，一直是个两难问题：

• 要么从零学视频生成——让模型自己画出未来帧。代价？显卡烧穿，推理时还得吭哧吭哧生成视频，实时性完蛋。
• 要么放弃预测——只用大语言模型的语义理解能力。代价？机器人成了"盲人摸象"，遇到动态变化就翻车。

上海AI Lab的 InternVLA-A1.5 给出了一个极其优雅的第三条路：

> 不画未来，只"问"未来。

---

🧩 核心矛盾：语义 vs 预测

VLA（Vision-Language-Action）模型的核心使命是让机器人同时具备两种能力：

1. 语义理解：听懂人话——"把红色试管移到左边" 2. 物理预测：预判后果——"这个角度拿会不会掉？"

但现有方案都在"二选一"：

• 纯VLM路线（如π0.5）：语义强，但没物理直觉，遇到没见过的组合就懵
• 纯世界模型路线（如JEPA-based）：会预测未来，但训练时把VLM的预训练知识"洗"掉了

InternVLA-A1.5 的回答是：两者都要，但用不同专家做，只在关键层交互。

---

🎯 核心设计：50个Token的"先知"魔法

这是整篇论文最漂亮的idea。

学徒与宗师

InternVLA-A1.5 引入了一组仅50个可学习的前瞻Token（foresight tokens），作为"学徒"向一个冻结的视频生成模型（WAN2.2-5B）"提问"。

• 视频模型是"武道宗师"——冻结所有参数，只负责评判。它有丰富的时空动力学先验（知道物体怎么动、重力怎么作用）。
• 前瞻Token是"学徒"——学着问出宗师能理解的问题，输出宗师认可的"内部心法"。

训练时：

前瞻Token + 当前观测 → 问视频模型 → 视频模型生成未来帧 → 对比真实未来帧 → 损失反传优化前瞻Token

关键来了：这个视频生成分支只在训练时存在。推理时完全丢弃！

所以部署时只需 0.1秒 一帧，不像世界模型那样测试时还要生成未来帧。前瞻Token在训练时学会了"预判"的直觉，然后把这种直觉内化到动作预测里。

> "我不是学会了画未来，而是学会了向会画未来的大师提问。"

为什么50个Token就够了？

消融实验证明：移除前瞻Token，所有基准一致下降，零样本测试尤其惨烈。

50个Token，一个都不能少。它们是知识蒸馏的"接口"——把视频模型的物理直觉成功传给了策略模型，而策略模型不需要自己学会视频生成。

这就像是：你要学做菜，不需要自己先成为化学家理解美拉德反应——你找个大厨，问他"这个火候对吗"，他把"对"或"不对"的判断传给你，你慢慢学会凭直觉感知火候。

---

🏗️ 架构：MoT（混合专家Transformer）

InternVLA-A1.5 采用 Mixture-of-Transformers 架构，核心是两个组件：

1. VLM主干（Qwen-3.5 2B）

负责语义理解、指令跟随、视觉问答。继续训练在VQA和子任务预测上，保持语义能力不退化。

2. 轻量级统一专家（460M参数）

负责动作生成和前瞻查询。比主干小得多，高效。

关键设计：只共享全注意力层

两个组件只在全注意力层（Full Attention）交互，各自保留独立的 Gated DeltaNet 层处理模态特定信息。

这防止了"目标干扰"——语义理解和动作生成的梯度不会互相打架。VLM学它的语言，专家学它的动作，只在"高层语义"层面交流。

VLM 路径：图像 + 指令 → Gated DeltaNet → 共享Full Attention → Gated DeltaNet → VQA/子任务预测
统一专家路径：状态 + 前瞻Token → Gated DeltaNet → 共享Full Attention → Gated DeltaNet → 动作预测

---

📝 统一对话模板：一切皆是语言

另一个极简但有效的设计：

所有任务——VQA、子任务预测、动作预测——全部统一成 "Prompt-Label" 格式，共享同一个交叉熵损失。

输入：
[图像] 请把红色试管移到左边的架子上 [状态] [模式]

输出（训练目标）：
子任务：拿起红色试管 → 移动到左边 → 放入架子
动作：[dx, dy, dz, gripper, ...] （连续动作，用flow matching解码）

没有复杂的损失函数组合，没有对抗训练，没有VAE。就是一个语言模型的 next-token prediction，只不过"词汇表"里既有文字也有动作。

> "简单，但有效——最大程度保留了VLM的预训练表示。"

---

🛡️ 混合注意力掩码：隔离的艺术

训练时有一个微妙的干扰问题：

统一专家同时在做两件事——预测离散动作（FAST tokenizer）和预测连续动作（flow matching）。如果让它"偷看"自己的答案，会作弊。

解决方案：注意力掩码隔离。

训练时：
- 连续动作生成器（flow matching）的注意力 → 屏蔽掉离散动作Token
- 离散动作预测 → 可以 attend to 连续动作（作为条件）

推理时：
- 只输出连续动作，离散动作分支不参与

这防止了梯度干扰，让两个任务各自学习，互不串台。

---

📊 实验结果：全面碾压

仿真基准（6个全部最优）

基准	InternVLA-A1.5	对比最佳基线	领先幅度
SimplerEnv	80.8%	π0.5 (57.1%)	+23.7pp
LIBERO	98.9%	—	近乎完美
LIBERO-Plus（零样本）	84.8%	—	视觉扰动下依然鲁棒
RoboTwin 2.0	93.2%	—	干净/随机化双场景几乎无差距
DOMINO（零样本）	27.7%	所有基线	超越所有baseline
EBench	三项划分全部最优	—	—

真实世界：组合泛化炸裂

在"移动试管"任务的OOD（分布外）测试中——从未见过的指令-动作组合——成功率高达 83.3%。

什么意思？训练时见过的："把红色试管移到左边" 测试时遇到的："把蓝色试管移到右边"（颜色+位置都是新组合）

其他SOTA在这个测试上近乎全挂，InternVLA-A1.5 却能稳定执行。

这说明模型真正解耦了语言指令中的元素（颜色、物体、动作、位置），而不是死记硬背轨迹。这才是真正的组合泛化——像人一样，把见过的元素重新组合应对新情况。

长程任务：MOF化学实验

长程金属有机框架制备任务：

• InternVLA-A1.5：76.4%
• π0.5：29.3%
• Motus：0%（完全失败）

优势来自显式的子任务预测——让策略在整个长程过程中保持对任务进度的感知。

---

💡 设计哲学：少即是多

InternVLA-A1.5 的设计有一种罕见的克制感：

1. 不重新发明视频生成——用冻结的WAN2.2，只学怎么"问"它 2. 不堆复杂损失——所有任务统一成交叉熵 3. 不追求超大模型——460M轻量专家 + 2B VLM主干，推理0.1秒 4. 不放弃预训练知识——VLM继续训练在VQA上，语义不漂移

每个设计选择都在回答同一个问题："我们真的需要从中学这个吗，还是可以借用已经学会的老师？"

---

🔮 启示：蒸馏范式的未来

"向冻结大模型提问"这种蒸馏范式，不只适用于VLA。

任何需要世界知识但不能承担推理成本的场景，都可以用类似的"学徒-宗师"架构：

• 自动驾驶：用冻结的视频预测模型教策略模型预判危险，推理时不跑视频生成
• 游戏AI：用冻结的物理引擎教策略模型预判弹道，推理时不跑物理模拟
• 科学实验：用冻结的分子动力学模拟教策略模型预判反应结果，推理时不跑MD

核心洞察：知识可以蒸馏，推理可以抛弃。 学徒学会了直觉，就不需要每次都问宗师。

---

📝 结语

InternVLA-A1.5 不是最大的模型，也不是最复杂的架构。但它可能是 2026 年最聪明的机器人模型——因为它懂得一个道理：

> 真正的智慧不是记住所有答案，而是知道该向谁提问。

50个前瞻Token，问的是一个冻结的视频生成模型。学到的，是物理世界的直觉。留下的，是一个能在 0.1 秒内做出正确动作的机器人。

上海AI Lab这个"不画未来，只问未来"的设计，或许会定义下一代具身智能的范式。

---

论文信息

• 标题：InternVLA-A1.5: Unifying Understanding, Latent Foresight, and Action for Compositional Generalization
• 作者：上海人工智能实验室
• arXiv: https://arxiv.org/abs/2607.04988
• 项目页：https://internrobotics.github.io/internvla-a15.github.io/
• 代码：https://github.com/InternRobotics/InternVLA-A1.5

---

*本文同步发布于 智柴外脑*

#InternVLA #VLA #具身智能 #机器人 #上海AILab #知识蒸馏 #小凯