🧭 当机器人学会"精打细算"：斯坦福团队揭秘具身智能的"算力经济学"

解码 DIRECT：一场关于测试时计算如何分配的精密外科手术

论文：DIRECT: When and Where Should You Allocate Test-Time Compute in Embodied Planners?
作者：Jadelynn Dao, Milan Ganai, Yasmina Abukhadra 等（Stanford / Waterloo / NVIDIA）
发表于：arXiv:2606.12402, 2026年6月10日
标签：#论文 #arXiv #AI #具身智能 #小凯

🏠 一、开篇：厨房里的"智能调度员"

想象一个早晨，你走进厨房，对家里的机器人助手说："帮我做一顿早餐——煎蛋、烤面包、切水果，再把牛奶倒进杯子。"

机器人点了点头。它开始思考：

• 煎蛋——需要判断蛋黄是否凝固，油温是否合适，这得好好想想。
• 烤面包——两片吐司放进烤面包机，按下按钮，没什么难的。
• 切水果——刀法、力度、形状，需要考虑安全和美观。
• 倒牛奶——拿起瓶子，倾斜，倒进杯子，这是幼儿园水平。

一个"聪明"的机器人会怎么做？它可能会把全部认知资源——就像人类的注意力一样——平均分配到每个任务上。煎蛋时，它开启了"深度思考模式"，在脑海中推演蛋黄凝固的物理过程；烤面包时，它继续深度思考，分析吐司表面褐变的化学反应；倒牛奶时，它还在深度思考，推演流体动力学和重力加速度...

听起来很荒谬，对吧？但在当前的具身智能（Embodied AI）领域，这恰恰是最常见的做法。

这就是斯坦福、滑铁卢和NVIDIA的联合团队所揭示的核心问题：当机器人用视觉-语言模型（VLM）做规划器时，它们几乎都在"无脑堆算力"——无论任务简单还是复杂，一律调用最昂贵的推理模式。结果？延迟爆炸，成本飙升，但收益却不均匀，甚至递减。

这项研究的名字叫 DIRECT——Dynamic Inference Router for Embodied Compute Tradeoffs。它试图回答一个看似简单却极其深刻的问题：在具身智能体中，测试时计算（test-time compute）到底该何时投入、何地投入？

🧮 二、背景：为什么机器人需要"大脑升级"？

2.1 具身智能的"分层结构"

现代具身智能系统通常采用一种层级结构，类似于人类的行为模式：

• 高层规划器（High-Level Planner）：就像一个指挥官，负责理解语言指令，分解任务，制定策略。它通常由VLM（视觉-语言模型）担任。
• 低层策略（Low-Level Policy）：就像一个执行者，负责具体的动作控制——移动手臂、抓取物体、旋转关节等。它通常由VLA（视觉-语言-动作模型）担任。

当用户说"把桌上的书放到书架上"时，高层规划器首先理解这个抽象指令，然后分解为：

1. 定位桌上的书
2. 移动到书旁边
3. 抓取书
4. 移动到书架
5. 放置书

低层策略则负责把这些子技能（sub-skills）转化为实际的电机控制信号。

2.2 测试时计算：一把双刃剑

近年来，AI领域有一个热门策略：在测试时（inference time）投入更多计算资源，来提升模型能力。这在纯语言模型中已经取得了惊人成果——OpenAI的o1、o3系列就是典型例子。通过延长思维链（Chain-of-Thought, CoT），模型可以在推理时进行更深入的思考，甚至解决训练时无法触及的复杂问题。

具身智能社区也迅速跟进。研究者们开始尝试：

• 深度CoT：让VLM在规划时生成更长的推理链，思考更多物理和语义约束。
• 更大模型：从7B参数扩展到70B、甚至235B参数，期望获得更全面的技能覆盖。
• 更长记忆：让规划器记住更长的交互历史，处理长程依赖任务。

但这里有一个被严重忽视的问题：在物理世界中，计算不是免费的。

⏱️ 三、核心发现：算力投入的收益，远比你想的更不均匀

论文团队在三个主要维度上进行了系统性诊断，揭示了一个令人警醒的事实：

3.1 🔍 第一轴：思维链深度（Chain-of-Thought Depth）

生活化比喻：想象你在考试。有些题目是简单的选择题，看一眼就知道答案；有些是多步骤的数学题，需要草稿纸推演。如果每道题你都打开草稿纸、画图、列公式——包括"2+2=？"这种题——你不仅浪费时间，还可能因为过度思考而犯错。

在VLABench（一个多步推理基准）上，团队对比了Qwen3-VL 8B Instruct（非思考模式）和Qwen3-VL 8B Thinking（思考模式）的表现。

发现一：Thinking模型确实在平均表现上更好。但深挖数据后发现，44%的任务中，非思考模型（Instruct）的表现与Thinking模型相当甚至更好，而推理速度却快了50倍以上（延迟不到2%）。

这就像一个学生——面对"今天的天气如何？"这种简单问题时，他不需要进行哲学层面的气象分析；直接看一眼窗外就够了。但对于"设计一个兼顾通风和采光的建筑布局"这种复杂问题，深度思考才物有所值。

核心洞察：CoT深度带来的收益是任务依赖的——只有当任务涉及隐含的语义、物理或空间约束时，深度思考才有回报。

3.2 📏 第二轴：模型大小（Model Size）

生活化比喻：假设你请了一位博士生、一位硕士生和一位本科生来帮你完成不同的工作。博士生确实知识面广，但请他来做"复印文件"这种工作，不仅浪费，而且他可能因为想太多而把事情搞复杂。更奇怪的是，有时候硕士生比本科生还慢——因为话太多。

团队在Qwen3-VL Instruct系列上做了全参数扫描（2B → 4B → 8B → 32B → 235B）。

发现二：

• 性能和延迟都呈非单调曲线。不是越大越好。32B模型在某些情况下比235B更慢——因为token生成数量不直接与参数挂钩，较小模型有时会"话痨"，生成过多冗余token。
• 模型大小主要扩展了技能覆盖面。大模型之所以更好，不是因为每件事都做得更好，而是因为它能处理更多种类的任务。在小模型已经擅长的技能上，大模型没有优势。

这就像工具箱：小工具箱只有螺丝刀和锤子，大工具箱还有电钻、锯子、水平仪。但拧螺丝这件事，大工具箱并不会比小工具箱更快更好。

3.3 🧠 第三轴：记忆历史（Memory History）

生活化比喻：你还记得上周三晚饭吃了什么吗？大多数人的回答是"不记得"。但对于一个侦探来说，三个月前某个证人的细微表情可能至关重要。记忆的长短，应该取决于任务的需要，而不是一概使用最高配置。

团队在RoboMME基准上测试了多种记忆架构：

• FrameSamp：简单采样关键帧，轻量级。
• TokenDrop：丢弃不重要的视觉token。
• SimpleSG / GroundSG：将历史压缩为语言子目标。
• MemER：记忆增强检索，最复杂但最全面。

发现三：

• 简单任务上，FrameSamp以数量级更少的FLOPs outperform MemER。就像你不需要用保险柜来存一张超市收据。
• 复杂的长程任务上，MemER和GroundSG才展现优势。就像侦探确实需要详细档案。
• 没有单一架构在所有难度级别上占优。每个架构都在特定难度区间内是最优的。

🎯 四、DIRECT：一台"认知调度器"的诞生

基于以上三个发现，团队提出了一个核心命题：

既然测试时计算的收益是不均匀的、任务依赖的，那么为什么不根据每个任务的具体需求，动态分配计算资源？

这就是DIRECT的核心思想。

4.1 形式化定义：一个选择问题

DIRECT把问题形式化为一个选择问题：

给定一个固定池子 \(\mathcal{M} = \{m_1, ..., m_K\}\)，其中每个 \(m_k\) 是一个VLM规划器，有不同的能力和成本。对于每个任务输入 \(x = (I, \ell)\)（包含场景图像 \(I\) 和语言指令 \(\ell\)），DIRECT需要选择一个规划器 \(m_k\) 来执行。

每个规划器 \(m_k\) 输出一个子技能序列 \((a_1, ..., a_T)\)，由低层VLA策略执行。

4.2 数据收集：构建"质量-成本"地图

为了训练这个"调度器"，团队需要知道：

• 质量分数 \(q_{i,k}\)：任务 \(i\) 用规划器 \(k\) 时的成功率（0到1之间）。
• 成本 \(c_{i,k}\)：任务 \(i\) 用规划器 \(k\) 时的推理成本（延迟或FLOPs）。

收集所有 \(N\) 个任务和 \(K\) 个规划器的数据，得到两个矩阵：

• \(Q \in [0,1]^{N \times K}\)：质量矩阵
• \(C \in \mathbb{R}_{>0}^{N \times K}\)：成本矩阵

在仿真中，可以直接从基准测试评分。在物理硬件上（Franka机器人），团队采用了一个聪明的方法：用VLM合成任务，然后用LLM judge来评分，避免在真实机器人上穷举所有组合。

4.3 路由器架构：轻到可以忽略

路由器的输入是任务特征 \(\phi(x)\)，由以下组成：

• 视觉编码：用冻结的SigLIP编码场景图像 \(I\)。
• 文本编码：用冻结的BGE-M3编码语言指令 \(\ell\)。
• 拼接：两者拼接成一个向量。

路由器本身非常轻量：

• 线性模型、KNN、PRkNN、K-means、OVR、两层MLP等候选架构。
• 推理成本仅20-50毫秒，与任何VLM规划器（>1秒）相比可以忽略不计。

这就像机场的安检分流系统——不需要每个乘客都走最严格的安检通道，只需要一个快速判断，把人分到合适的通道即可。

4.4 路由目标：成功与成本的帕累托博弈

DIRECT通过一个效用函数 \(U(q, c)\) 来权衡质量和成本：

一个具体的实现是带回归头的预测模型：

其中 \(\alpha\) 是质量容忍度。这个公式意味着：

• 成本越低越好（\(1/\hat{c}_{i,k}\)）
• 但质量不能太差（必须接近最佳质量，差距小于\(\alpha\)）

📊 五、实验结果：数字不会撒谎

5.1 思维链轴上的路由（CoT Routing）

在VLABench上，DIRECT在多种模型对比组合中实现了最高的路由效率 \(\eta\)（衡量质量-成本权衡的指标）：

• 同家族开源模型：在Qwen3-VL 8B Instruct vs. Thinking的对比中，DIRECT以约30%的延迟削减，恢复了接近Thinking模型的质量，\(\eta \approx 75\%\)。
• 闭源模型：DIRECT的成功分数甚至超过静态选择——因为路由能提取两种模型的互补优势。
• 跨家族异构模型：DIRECT以30-40%更低的延迟恢复了昂贵模型的大部分质量，证明学习信号不是 tied to 特定模型的风格特征。

在物理Franka机器人上（DROID setup）：

• DIRECT恢复了Thinking模型的成功率，但平均延迟降低显著。

5.2 模型大小轴上的路由（Size Routing）

在Qwen3-VL 2B到235B的全尺寸扫描上，DIRECT展现了其最优雅的能力：

• 逐对路由（Pairwise）：任意两个模型之间，DIRECT都能比两者单独使用更好。
• 累积路由（Cumulative）：将多个模型纳入池子，DIRECT能把非单调的scaling曲线变成单调的——因为每个新增的变体只扩展了集体技能集，路由器不会丢失之前的能力。例如，在8B处出现性能 dip 时，累积路由器会回落到4B模型，同时把8B保留给需要它的任务。
• 对于最大模型（32B）：累积路由器（2B+4B+8B+32B）提升性能5.1个百分点，同时减少平均延迟32.4秒。

这就像一家餐厅，不是每个菜都请米其林大厨来做——开胃菜交给普通厨师，主菜才请大厨。DIRECT就是这个"人力资源经理"。

5.3 物理验证：Franka机械臂上的真实世界

在DROID物理平台上（零样本操作和长程链式任务），DIRECT展现出：

• 匹配或超越更强模型的成功率。
• 平均延迟降低高达65%。
• 超过270,000次仿真路由决策和245条物理轨迹的验证。

🎭 六、深度思考：DIRECT背后的哲学

6.1 "统一杠杆"的迷思

AI领域有一个根深蒂固的假设：更多算力 = 更好性能。这在训练阶段（training-time compute）基本成立—— scaling laws 告诉我们，更大的模型、更多的数据、更长的训练，通常带来更好的能力。

但在测试时（test-time compute），这个假设是有条件的、不均匀的。DIRECT的核心贡献之一就是证明：

测试时计算不是一个"统一杠杆"（uniform lever）——不同轴上的扩展带来质上不同的能力增益。

• CoT深度带来推理能力（推理链的深化）。
• 模型大小带来技能广度（覆盖更多任务类型）。
• 记忆历史带来长程依赖能力（处理复杂多步任务）。

三者是正交的、互补的。简单地把所有轴推到最大，就像在每道菜上都放松露——浪费且不一定更好。

6.2 "感知-aware调度"的智慧

DIRECT的另一个深层洞察是：任务难度可以从初始场景和指令中推断出来。

不需要执行完整任务才能知道它有多难。就像老师看一道数学题，不需要解出来就能判断它属于什么难度级别。DIRECT用SigLIP+BGE-M3的轻量嵌入，就能捕捉这种"直觉"。

这暗示了一种更广泛的范式：在AI系统中，我们可以用极低成本的前置判断，来避免高成本的无差别计算。

6.3 与MoE的类比与区别

DIRECT与Mixture-of-Experts（MoE）有表面相似之处——都是在不同子系统之间做路由。但关键区别：

• MoE路由在token级别，每个token选择不同的专家。
• DIRECT在任务级别，每个任务选择不同的规划器。
• MoE的目的是扩展模型容量，DIRECT的目的是优化质量-成本帕累托前沿。

🚀 七、实践启示：如何把你的机器人变"聪明"而不变"笨重"

7.1 对于研究者

• 不要无脑堆CoT。先分析你的任务池中，哪些真的需要深度推理。
• 模型大小不是越大越好。分析你的任务需要哪些技能，选择刚好覆盖这些技能的模型。
• 记忆架构要因地制宜。短程任务不需要昂贵记忆，长程任务才需要。
• DIRECT的训练数据可以合成。在硬件上收集真实数据成本高，用VLM合成+LLM judge打分是可行的替代方案。

7.2 对于工业界

• 部署成本优化：DIRECT的轻量路由器（20-50ms）带来的延迟削减是量级的（65%），这意味着：
  • 更少的GPU占用
  • 更低的能耗
  • 更快的响应时间（对实时机器人交互至关重要）
• 现有模型池的再利用：不需要重新训练新模型，只需要把现有模型（不同尺寸、不同CoT模式、不同记忆架构）组成一个池子，训练一个轻量路由器即可。

7.3 对于具身智能的下一波浪潮

DIRECT代表了一种"后scaling时代"的思路：

不是"我们还能堆多少算力？"而是"我们能否更聪明地分配已有的算力？"

这可能是具身智能从实验室走向工业落地的关键转折点。当前VLM规划器的延迟动辄数十秒，这在工厂流水线、医院手术辅助、家庭服务等场景中是不可接受的。DIRECT证明了：我们可以在不牺牲成功率的情况下，把延迟降到可接受的范围。

📝 八、局限与未来

论文坦诚地指出了几个局限：

1. 固定池子假设：路由器针对固定的规划器池训练。如果池子变化（新增模型），需要重新收集数据并重新训练。未来工作可以探索在线学习和增量适应。
2. 单步决策：DIRECT基于初始场景做一次性路由决策。对于多阶段任务，每个阶段的难度可能不同，未来可以探索跨阶段的依赖建模和动态重新路由。
3. 成本代理：延迟和FLOPs是特定部署场景的代理，不是普适常数。不同硬件、不同网络条件下，最优路由策略可能不同。

但这些都是工程上的自然延伸，不影响核心思想的价值。

🏁 九、结语：从"大力出奇迹"到"好钢用在刀刃上"

DIRECT这个名字本身就很妙——它既是"Dynamic Inference Router for Embodied Compute Tradeoffs"的缩写，也有"直接、精准"的日常含义。

这篇论文的价值，远不止一个路由框架。它是一次对整个具身智能社区"默认策略"的深刻反思：

我们一直以为，测试时计算就是越多越好。但DIRECT告诉我们：计算资源就像水，应该流向最需要的地方。

在Franka机械臂上，DIRECT把一个需要21.9秒深度思考的步骤，在简单场景下压缩到0.8-0.9秒——不是因为它偷工减料，而是因为它知道：这个场景不需要思考。

这种"知道什么时候不需要做某事"的智慧，可能比"知道怎么做某事"更高级。它标志着具身智能从"蛮力阶段"迈向"精准阶段"——从"大力出奇迹"到"好钢用在刀刃上"。

正如论文的最后一句话：

"Naively scaling test-time compute is wasteful, and that DIRECT can provide frontier-level embodied planning in robotic systems at a fraction of the cost."

（盲目扩展测试时计算是浪费的，而DIRECT可以以极低的成本提供前沿级别的具身规划能力。）

在这个算力越来越昂贵、能耗越来越受关注的时代，"精打细算"的AI，可能比"财大气粗"的AI更有未来。

📚 参考文献

1. Dao, J., Ganai, M., Abukhadra, Y., Sridhar, A., Azadani, M. N., Luo, K., Barrett, C., Wu, J., Finn, C., & Pavone, M. (2026). DIRECT: When and Where Should You Allocate Test-Time Compute in Embodied Planners? arXiv:2606.12402. https://arxiv.org/abs/2606.12402
2. Brohan, A., et al. (2023). RT-2: Vision-Language-Action Models. arXiv:2307.15818.
3. Team, Q. (2025). Qwen3-VL Technical Report. arXiv:2505.18201.
4. Ahn, M., et al. (2022). Do As I Can, Not As I Say: Grounding Language in Robotic Affordances. arXiv:2204.01691.
5. Kim, D., et al. (2025). OpenVLA: An Open-Source Vision-Language-Action Model. arXiv:2406.09246.
6. Zhang, Z., et al. (2025). Memory-Empowered Reasoning for VLA Policies. arXiv:2503.04109.
7. Snell, C., et al. (2024). Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters. arXiv:2408.03314.
8. Chen, L., et al. (2023). FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance. arXiv:2305.05176.
9. Ong, I., et al. (2024). RouteLLM: Learning to Route LLMs with Preference Data. arXiv:2406.18665.
10. Huang, W., et al. (2022). Inner Monologue: Embodied Reasoning through Planning with Language Models. arXiv:2207.05608.
11. Kahn, C., et al. (2024). VLMo: Vision-Language-Model for Motion Planning. arXiv:2406.14986.
12. Li, P., et al. (2024). Evaluating VLMs for Hierarchical Robotic Planning. arXiv:2410.08782.
13. Ganai, M., et al. (2025). VLABench: A Benchmark for Vision-Language-Action Planning. arXiv:2502.03258.
14. Ding, Y., et al. (2024). RoboMME: A Multi-modal Evaluation Benchmark for Robotic Manipulation. arXiv:2406.12424.
15. Wu, J., et al. (2025). DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset. arXiv:2403.12945.

本文以费曼风格撰写，追求用生活化比喻解释复杂概念，同时保持科学严谨性。如有理解偏差，以论文原文为准。

#论文 #arXiv #AI #具身智能 #小凯