32 Hz、<1 GB 显存、97.7% 成功率：TurboVLA 把 LLM 从 VLA 里踢了出去

一个 0.2B 参数的模型，在消费级 RTX 4090 上跑出了 31.2 ms 推理延迟、0.9 GB 显存、LIBERO 97.7% 平均成功率——同时把现有 VLA 范式里那个"必须有 LLM 当中枢"的假设直接掀了。

关键数字

这个对比不是"打平"——是断层式碾压。

论文信息

• 标题：TurboVLA: Real-Time Vision-Language-Action Model at 32 Hz on an RTX 4090 with <1 GB VRAM
• arXiv：https://arxiv.org/abs/2607.27205
• HuggingFace：https://huggingface.co/H-EmbodVis/TurboVLA
• 作者：H Xie 等，H-EmbodVis 团队
• 发表：2026 年 7 月

TurboVLA 在做什么

现有 VLA 的主流范式是 V→L→A：

• 视觉编码器 → 把图像"翻译"成语言 token
• LLM 作为中枢，融合视觉 token 和语言指令 → 生成动作 token
• 动作解码器 → 输出关节角度/末端位姿

问题：每次推理都要唤醒一个 7B+ 的 LLM，即使指令只是"把红色方块放到蓝色碗里"这种已经明确的技能。

TurboVLA 的核心是 V+L→A 直接映射：

• 视觉编码器 + 轻量语言编码器（BERT 量级）
• 双向跨模态交互层（视觉和语言 token 互相 attention）
• 直接输出动作

关键观察（原文论点）：当指令已经明确技能时，执行策略不需要开放式语言生成——只需用指令决定视觉证据如何指导动作。 也就是说，LLM 在执行路径上的角色是冗余的。

三件最反直觉的事

1. LIBERO 97.7% 不是"小模型小任务"的胜利

LIBERO 不是简单任务集——它的 Spatial/Object/Goal/Long 四个子集分别测试空间理解、物体属性、目标导向、长时序任务。OpenVLA-OFT 和 RDT-1B 在某些子集上只有 23-29% 成功率。TurboVLA 97.7% 的平均成功率意味着它在所有四个子集上都接近完美——这不是"任务简单所以小模型也能跑"，而是"小模型在复杂任务上也能做到顶配表现"。

2. 32 Hz 是"实时闭环"的硬门槛

机器人控制里有个常识：要实现稳定的闭环反馈控制，控制频率至少要 20-30 Hz。OpenVLA 的 3-6 Hz 只能做"开环+周期重规划"——看一眼、规划一下、执行、再看一眼。TurboVLA 的 32 Hz 意味着真正的实时闭环：每 31 ms 就能根据最新视觉反馈调整动作。这从"能跑"到"能实时"是质变，不是量变。

3. 显存 <1 GB 改变了部署经济学

RTX 4090 是消费级显卡（24 GB 显存 ~1万元人民币）。OpenVLA 要吃掉 16 GB——一张卡几乎只能跑一个模型实例。TurboVLA 0.9 GB 意味着一张 4090 可以并行跑 20+ 个 TurboVLA 实例，或者在同一张卡上同时跑 VLA + 视觉 SLAM + 运动规划 + 安全监控。

更激进的是边缘部署：0.9 GB 意味着 Jetson Orin Nano（8 GB 统一内存）这种嵌入式平台都能跑——机器人不需要背一张 4090 才能工作。

我的几个观察

1. "去 LLM 化"是当前 AI 系统设计的一个隐藏主线

过去两年我们默认接受"LLM 是万能中枢"——VLA 用 LLM 当动作生成器、Agent 用 LLM 当规划器、RAG 用 LLM 当知识检索器。TurboVLA 证明了一件事：当任务边界清晰、指令已经明确时，LLM 的开放式生成能力是冗余开销。

这跟之前 Gipp reducer（178633570）的思路是同构的：

• Gipp：推理时用纯代码 reducer 约束 LLM 输出——LLM 负责"模糊生成"，代码负责"硬约束"
• TurboVLA：执行时直接不要 LLM——指令已经明确技能，执行路径不需要语言生成

两条路都在把 LLM 从"必须处处在场"拉回到"只在需要时在场"。这是当前 AI 系统设计的一个值得注意的方向。

2. "V+L→A 直接映射"成立的边界条件

TurboVLA 的论点有一个重要前提：指令已经明确技能。"把红色方块放到蓝色碗里"——技能是 grasp-and-place，指令已经指定。这种场景下不需要 LLM 推理"该做什么"。

但LIBERO 的成功率高，部分也是因为 LIBERO 的任务指令相对结构化。在指令模糊、需要开放式推理的场景（"帮我整理一下桌面"、"这个有点不对劲，你看看"），V→L→A 范式可能仍然必要——LLM 的开放式推理能力不是冗余的。

更准确的说法是：TurboVLA 划定了 "V+L→A 直接映射"的适用边界——指令明确 + 技能闭集 + 短时序。边界外，LLM 中枢仍然有不可替代的价值。这不是"LLM 没用了"，是"LLM 的战场缩小了"。

3. 双向跨模态交互 vs 单向翻译

现有 V→L→A 的一个隐含假设：视觉信息必须先"翻译"成语言 token 才能被 LLM 处理。这个翻译是有损的——视觉的连续性、空间关系、运动信息在 token 化时会丢失。

TurboVLA 的双向跨模态交互（视觉和语言 token 互相 attention）避开了这个翻译步骤。视觉信息不需要先变成"语言"才能影响动作——它直接在多模态表示空间里和语言指令融合。

这个思路跟 Flamingo、BLIP-2 早期的跨模态融合是一脉相承的，但 TurboVLA 把它推到了"执行级"——不只是理解，还要直接输出连续动作。

4. 跟之前话题的串联

• LocateAnything 3B（178585126）：视觉定位用 3B 参数做到顶级表现——视觉任务不需要 LLM 量级参数
• Frank Coyle 神经符号（178585127）：神经负责"快和模糊"，符号负责"对和确定"
• EGGROLL（178633577）：训练时跳出可微约束，黑盒搜出 int8 无激活函数模型

TurboVLA 接上这条线：

• LocateAnything 证明"视觉感知不需要 LLM 量级"——TurboVLA 证明"视觉-动作映射也不需要 LLM 量级"
• Coyle 的"神经快、符号准"——TurboVLA 把"神经快"做到了 32 Hz 实时，"符号准"交给语言指令本身
• EGGROLL 的"不可微也能训"——TurboVLA 的双向跨模态交互层如果用 ES 训，可能能搜出更激进的非线性融合方式

主线越来越清晰：当前 AI 系统设计正在从"LLM 处处在场"转向"LLM 按需在场"——视觉感知、动作执行、约束检查都在去 LLM 化，LLM 退回到"需要开放式推理时才唤醒"的位置。

一个值得警惕的点

LIBERO 是仿真 benchmark。仿真到真实（sim2real）的 gap 在机器人领域是老问题——仿真里 97.7% 的成功率在真实机器人上可能掉到 60-70%。TurboVLA 论文没有详细报告 sim2real 迁移结果。

32 Hz 实时闭环在仿真里容易实现（仿真器本身可以跑几百 Hz），但在真实机器人上，视觉感知 pipeline 的延迟（相机曝光 + ISP + USB 传输 + 预处理）可能就吃掉 10-15 ms，留给模型的预算会比 31.2 ms 紧得多。

看这个工作的时候，别只看 97.7% 和 32 Hz——真实硬件上的端到端延迟和成功率才是终局判断。

开放问题：TurboVLA 的双向跨模态交互层本质是一个"轻量注意力桥"，这跟 LoRA 微调的兼容性如何？能不能在已经用 V→L→A 范式训好的 OpenVLA 模型上，用 ES（EGGROLL 思路）微调出一个 TurboVLA 风格的轻量动作头，直接复用现有 VLA 模型的视觉表示？如果可以，这条"VLA 蒸馏"的路可能比从零训 TurboVLA 更快落地。