当机器人学会"想清楚再做"：潜在思维链如何让机械臂从及格到满分

一个尴尬的现状

你给机器人看一张桌子，上面有个杯子，指令是"把杯子放到左上角"。

机器人看到了杯子，也理解了指令。但它需要做什么？抓取角度、力度、运动轨迹、避障路径——这些物理决策在传统 VLA（Vision-Language-Action）模型中是"一步到位"的：视觉输入直接映射到动作输出，中间没有"想一想"的环节。

结果就是：简单任务能做，稍微复杂一点就翻车。

问题出在哪里？不是感知，不是语言理解，而是"物理推理"这一层缺失了。

两条路，各有死穴

已有研究尝试给 VLA 加上"推理"能力，主要走两条路：

第一条：显式语言推理。 让模型用自然语言"说出"思考过程——"我需要先靠近杯子，然后调整夹爪角度……"。问题是语言是离散的，物理世界是连续的。把"30度夹角"编码成文字再解码回动作，精度损失严重。而且生成文字本身有延迟，机械臂不能等你想完再动。

第二条：连续潜在推理。 不经过语言，直接在向量空间里做"思维链"——一串连续的隐变量代表推理步骤。表达力更强，延迟更低。但之前的方法只用在模仿学习里——模型看着人类演示"背答案"，没有真正的试错探索。

两条路都走到了死胡同：一个精度不够，一个适应性不够。

LaST-R1 的破局：让潜在推理进入 RL 循环

这篇论文的核心创新是 Latent-to-Action Policy Optimization（LAPO）——把潜在思维链推理直接嵌入强化学习的优化循环。

具体来说，LaST-R1 的工作流程是这样的：

1. 视觉编码：Qwen3-VL 处理视觉输入和语言指令 2. 潜在 CoT 推理：在动作生成之前，模型在潜在空间中生成一串"物理推理"隐变量——不是语言，不是动作，而是介于两者之间的"物理世界模型" 3. 动作生成：基于潜在推理的结果，生成具体动作 4. 环境反馈：动作执行后获得奖励信号 5. 联合优化：LAPO 同时更新潜在推理和动作生成的参数

关键在于第5步——传统 RL 只优化动作空间，LAPO 把潜在推理也纳入优化范围。这意味着模型不仅在学习"做什么动作"，还在学习"怎么想才能做出好动作"。

自适应推理深度：该想多少想多少

论文的另一个亮点是 自适应潜在 CoT 机制。

不同任务的复杂度不同——"把杯子推到左边"可能只需要1步推理，"在多个障碍物之间抓取目标并放到指定位置"可能需要5步。LaST-R1 让模型自己学习何时停止推理：通过预测 token 的概率来动态决定推理深度。

这和 DoubtLess 论文发现的"冗余在答案之后"形成有趣对照：推理模型的过度思考主要发生在答案出现后的验证阶段。LaST-R1 的自适应机制本质上是在说——不同任务需要不同的推理预算，固定深度要么浪费要么不够。

数据：从及格到满分的跨越

实验结果令人印象深刻：

• LIBERO 基准：99.9% 平均成功率（仅需一次监督预热）
• 收敛速度：显著超越之前的 SOTA 方法
• 真实世界：4 个复杂任务（含单臂和双臂），比 SFT 基线平均提升 22.5%
• 泛化能力：仿真到真实的迁移表现稳健

99.9% 这个数字在机器人领域几乎是"满分"——LIBERO 基准包含空间推理、目标导向、长程规划等多种任务类型，能在所有子任务上接近满分，说明 LAPO 学到的不是特定策略，而是通用的物理推理能力。

代码与工程细节

论文完整开源了代码（https://github.com/CHEN-H01/LaST-R1），包括：

• 基于 Qwen3-VL + veRL 的训练框架
• LIBERO 全部4个基准的 SFT 预热模型和 RL 后训练模型（HuggingFace 开源）
• 核心文件结构清晰：main_ppo.py（训练入口）、core_algos.py（LAPO 核心算法）、rob_rollout.py（环境交互）

工程上需要 PyTorch >= 2.2.0 + CUDA >= 12.0，依赖 veRL v0.2.x 和 LIBERO 环境。训练脚本 run_libero_rl_training.sh 支持通过 VAL_ONLY 切换训练/评估模式，通过 DATASET_NAME 切换不同基准。

值得注意的是，代码基于 SimpleVLA-RL 构建——这说明 LaST-R1 的增量创新集中在 LAPO 算法和自适应推理机制上，而不是从零搭建系统。这种"站在巨人肩膀上"的策略让复现和扩展都更容易。

更深层的启示

这篇论文的贡献可以提炼为一个原则：推理空间和动作空间的联合优化，比单独优化任何一个都更有效。

传统方法的隐含假设是"动作对了就行，推理过程不重要"。但 LaST-R1 证明：推理过程的质量直接决定动作的质量——因为物理世界的复杂性不在于"做什么"，而在于"为什么做"——理解了物理动力学，动作自然就对了。

这和 Hy-Memory 的"chunk 级归因"有异曲同工之处：终端奖励太稀疏，需要把信用分配到中间步骤。LaST-R1 的潜在 CoT 就是中间步骤——通过优化这些中间推理，RL 的信号不再只作用于最终动作，而是渗透到整个"感知-推理-行动"链条。

另一个值得关注的点是"一次监督预热"就够了这个发现。传统 VLA 需要大量演示数据，LaST-R1 只需要一次——然后靠 RL 自主探索。这暗示了一个更深的原理：模仿学习的价值不在于教策略"做什么"，而在于给 RL 一个合理的起点。 就像学骑自行车——有人扶你一次就够了，剩下的靠你自己摔出来的肌肉记忆。

---

论文链接：https://arxiv.org/abs/2604.28192 代码仓库：https://github.com/CHEN-H01/LaST-R1 项目主页：https://siriyep.github.io/last-r1