OpenDriveVLA：0.5B 参数干翻 7B，VLA 模型重新定义端到端自动驾驶
> 论文：*OpenDriveVLA: Towards End-to-end Autonomous Driving with Large Vision Language Action Model* > arXiv：https://arxiv.org/abs/2503.23463 > 项目页：https://drivevla.github.io > 机构：慕尼黑工业大学
---
一句话总结
> 慕尼黑工业大学把 Qwen2.5 改造成自动驾驶大脑，用「实例感知的分层视觉 Token」解决 VLM 的 3D 空间幻觉问题，0.5B 参数在 nuScenes 开环测试上 L2 误差仅 0.33m，直接干翻之前所有自回归语言模型。关键创新：轨迹被编码成离散 Token，LLM 用自回归方式「生成」驾驶路径——就像写文章一样「写」出未来 3 秒的行车轨迹。
---
VLM 做自动驾驶的两大死穴
视觉语言模型（VLM）在自动驾驶领域一直很火，但有两个根本性问题：
死穴 1：2D 图像没 3D 空间感
VLM 看的是 2D 图像，但自动驾驶需要 3D 空间理解。传统的做法是把图像特征直接丢给 LLM——结果就是 LLM 在「看图说话」，而不是「看路开车」。一个车在图片左边，LLM 知道它在左边，但不知道它离 ego 车 5 米还是 50 米。
死穴 2：实例无关导致幻觉满天飞
标准 VLM 把整幅图压缩成一个全局特征向量，所有物体混在一起。结果就是：LLM 看到了「前面有车」，但分不清是前面那辆白色轿车还是远处那辆卡车。这种「实例无关」的表征导致规划时产生幻觉——比如把静止的物体当成移动的，或者忽略关键障碍物。
---
OpenDriveVLA 的解法：实例感知的分层视觉 Token
OpenDriveVLA 的核心设计是把不同语义层级的视觉信息分别编码、分别对齐到语言空间，而不是用一个「大一统」的特征向量。
多视角图像输入
↓
┌─────────────────────────────────────────┐
│ 分层视觉编码器 │
│ ┌─────────────┐ ┌─────────┐ ┌────────┐ │
│ │ 全局场景 │ │ 实例 │ │ 地图 │ │
│ │ Scene Token │ │ Agent │ │ Map │ │
│ │ (Sampler) │ │ Token │ │ Token │ │
│ └──────┬──────┘ └────┬────┘ └───┬────┘ │
└─────────┼─────────────┼──────────┼──────┘
↓ ↓ ↓
各走各的 MLP Projector
↓ ↓ ↓
分别对齐到语言空间
↓ ↓ ↓
┌─────────────────────────────┐
│ 拼接 → LLM (Qwen2.5 0.5B) │
│ 自回归生成轨迹 Token │
└─────────────────────────────┘
三层 Token 各司其职
| 层级 | Token 类型 | 编码内容 | 对齐目标 |
|---|---|---|---|
| 全局场景 | Scene Token | 多视角图像的整体理解 | 多视角场景摘要文本 |
| 实例级 | Agent Token | 每个交通参与者的特征 | BEV 坐标 + 状态描述 |
| 地图级 | Map Token | 车道线、交通标志等 | 车道拓扑文本 |
---
四步训练：从视觉对齐到端到端规划
Step 1：层次化视觉-语言对齐
让 Qwen2.5 学会「看懂」自动驾驶场景：
- Agent Token → 配 BEV 坐标描述（"前方 5 米处有一辆白色轿车，速度 30km/h"）
- Scene Token → 配多视角场景摘要（"十字路口，红绿灯为绿色，路面干燥"）
- Map Token → 配车道拓扑文本（"自车位于左起第二车道，前方 20 米需右转"）
Step 2：驾驶指令微调
让 Qwen2.5 学会「驾驶 QA」：
- 输入：视觉 Token + 驾驶相关问题（"我应该减速吗？"）
- 输出：推理过程 + 答案
Step 3：Agent-Env-Ego 交互预训练
这是最关键的一步：让 LLM 自回归预测周围车辆的未来轨迹。
输入：当前时刻所有 Agent 的状态 Token
输出：每个 Agent 未来 T 帧的轨迹 Token
Token 序列：[Agent1_t+1, Agent1_t+2, ..., Agent2_t+1, Agent2_t+2, ...]
通过这一步，LLM 建立了空间交互先验——它学会了「如果左边那辆车减速，我可能需要变道」。这不是显式编码的规则，而是从数据中学到的交互模式。
Step 4：端到端规划（Ego 轨迹生成）
最后一步：把 ego 车的未来轨迹编码成离散 Token，让 LLM 自回归生成。
轨迹编码：
- 6 个航路点（waypoints）
- 每个航路点 (x, y) 坐标 → 离散化为 Token
- LLM 逐 Token 自回归生成：wp1_x, wp1_y, wp2_x, wp2_y, ..., wp6_x, wp6_y
关键洞察：轨迹生成被转化为「语言生成」问题——LLM 不是在「计算」轨迹，而是在「写」轨迹。这利用了 LLM 强大的自回归建模能力，同时保持了端到端的可微性。
---
实验结果：开环屠榜
nuScenes 开环规划
| 方法 | 参数量 | L2 误差 (m) |
|---|---|---|
| ST-P3 | - | 0.33 |
| OpenDriveVLA (0.5B) | 0.5B | 0.33 |
| 之前最佳自回归 LM | 7B+ | > 0.40 |
驾驶 QA SOTA
| 基准 | 之前 SOTA | OpenDriveVLA |
|---|---|---|
| nuCaption | - | SOTA |
| nuScenesQA | - | SOTA |
| Nu-X | - | SOTA |
指令跟随：真正听懂人话
给定自然语言指令（"左转"、"右转"、"直行"），模型能实时调整生成的轨迹：
| 指令 | 轨迹变化 |
|---|---|
| "左转" | 航路点向左偏移，曲率增加 |
| "右转" | 航路点向右偏移 |
| "直行" | 保持当前车道中心线 |
---
技术深度：为什么分层 Token 比全局特征好？
传统 VLM 的问题：特征纠缠
传统做法：
图像 → CNN/ViT → [全局特征向量] → LLM
↓
所有信息混在一起
"前面有车+红绿灯+行人"
但 LLM 不知道谁是谁
OpenDriveVLA 的解法：结构化 Token
分层做法：
图像 → 三层编码 → [Scene] [Agent1] [Agent2] ... [Map] → LLM
↓
每个 Token 有明确语义
Scene: "十字路口"
Agent1: "白色轿车，前方5米，30km/h"
Agent2: "行人，左侧，静止"
Map: "左二车道，前方右转"
优势： 1. 可解释性：每个 Token 对应明确的实体，便于调试和分析 2. 注意力聚焦：LLM 的 cross-attention 可以直接关注到关键 Agent 3. 灵活扩展：新增 Agent 类型只需增加对应的 Token 编码器
---
局限性：开环 ≠ 闭环
需要诚实面对的问题：
1. 开环测试的局限：nuScenes 开环只测「给定 ground truth 历史，预测未来轨迹」，没有考虑预测误差累积。闭环测试（如 CARLA）更能反映真实性能。
2. 计算成本：虽然 0.5B 参数很小，但分层编码 + 自回归生成轨迹的延迟是否满足实时性要求（通常需要 < 100ms）？
3. 长尾场景：论文没有详细报告极端天气、夜间、施工区域等长尾场景的性能。
4. 安全保证：端到端 VLA 模型缺乏传统规控模块的安全约束（如碰撞检测、边界检查），如何确保不会生成危险轨迹？
---
一句话总结（再强调一次）
> OpenDriveVLA 的核心突破不是「小模型干翻大模型」，而是「用对结构比堆参数更重要」。实例感知的分层视觉 Token 让 0.5B 的 Qwen2.5 获得了 3D 空间理解能力，轨迹 Token 化让端到端规划变成了 LLM 擅长的自回归生成问题。这可能是 VLA 模型在自动驾驶领域的第一个真正可行的端到端方案。
---
参考链接：
- 论文：https://arxiv.org/abs/2503.23463
- 项目页：https://drivevla.github.io
- 代码：（待开源，持续关注项目页）
#小凯 #自动驾驶 #VLA #OpenDriveVLA #端到端 #Qwen #慕尼黑工大 #nuScenes #视觉语言模型 #轨迹生成
🌟 智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用，智谱新一代旗舰模型 GLM-5 已上线，在推理、代码、智能体综合能力达到开源模型 SOTA 水平。
🎁 领取 2000万 Tokens