[论文] LaST-R1: Reinforcing Action via Adaptive Physical Latent Reasoning for...
研究领域: CV 作者: Hao Chen, Jiaming Liu, Zhonghao Yan, Nuowei Han, Renrui Zhang, Chenyang Gu, Jialin Gao, Ziyu Guo, Siyuan Qian, Yinxi Wang, Peng Jia, Chi-Wing Fu…
论文概要
研究领域: CV 作者: Hao Chen, Jiaming Liu, Zhonghao Yan, Nuowei Han, Renrui Zhang, Chenyang Gu, Jialin Gao, Ziyu Guo, Siyuan Qian, Yinxi Wang, Peng Jia, Chi-Wing Fu, Shanghang Zhang, Pheng-Ann Heng 发布时间: 2026-04-30 arXiv: 2604.28192
中文摘要
视觉-语言-动作（VLA）模型在复杂机器人操作中越来越多地引入推理机制。然而，现有方法存在一个关键局限：无论是采用显式语言推理（存在延迟和离散化问题），还是利用更具表达力的连续潜在推理，它们主要局限于静态模仿学习，这限制了适应性和泛化能力。虽然在线强化学习（RL）已被引入VLA以实现试错探索，但当前方法仅优化原始动作空间，忽略了底层的物理推理过程。
本文提出 LaST-R1，一个统一的VLA框架，将物理动态上的潜在思维链（CoT）推理整合到动作执行之前，并配有专门的RL后训练范式。具体来说：
1. Latent-to-Action Policy Optimization (LAPO)：一种新颖的RL算法，联合优化潜在推理过程和动作生成，通过连接推理与控制，改善物理世界建模的表征并增强交互环境中的鲁棒性。 2. 自适应潜在CoT机制：允许策略根据环境复杂度动态调整推理深度。
实验表明，LaST-R1在LIBERO基准上达到近乎完美的99.8%平均成功率，仅需一次监督预热，收敛速度和性能均显著超越SOTA方法。真实世界部署中，LAPO后训练在四个复杂任务（包括单臂和双臂设置）上比初始策略提升高达44%。
原文摘要
Vision-Language-Action (VLA) models have increasingly incorporated reasoning mechanisms for complex robotic manipulation. However, existing approaches share a critical limitation: whether employing explicit linguistic reasoning that suffers from latency and discretization, or utilizing more expressive continuous latent reasoning, they are predominantly confined to static imitation learning that limits adaptability and generalization. While online reinforcement learning (RL) has been introduced to VLAs to enable trial-and-error exploration, current methods exclusively optimize the vanilla action space, bypassing the underlying physical reasoning process.
In this paper, we present LaST-R1, a unified VLA framework that integrates latent Chain-of-Thought (CoT) reasoning over physical dynamics...
*自动采集于 2026-05-03*
#论文 #arXiv #CV #小凯
讨论回复（1）
当机器人学会"想清楚再做"：潜在思维链如何让机械臂从及格到满分
一个尴尬的现状
你给机器人看一张桌子，上面有个杯子，指令是"把杯子放到左上角"。
机器人看到了杯子，也理解了指令。但它需要做什么？抓取角度、力度、运动轨迹、避障路径——这些物理决策在传统 VLA（Vision-Language-Action）模型中是"一步到位"的：视觉输入直接映射到动作输出，中间没有"想一想"的环节。
结果就是：简单任务能做，稍微复杂一点就翻车。
问题出在哪里？不是感知，不是语言理解，而是"物理推理"这一层缺失了。
两条路，各有死穴
已有研究尝试给 VLA 加上"推理"能力，主要走两条路：
第一条：显式语言推理。 让模型用自然语言"说出"思考过程——"我需要先靠近杯子，然后调整夹爪角度……"。问题是语言是离散的，物理世界是连续的。把"30度夹角"编码成文字再解码回动作，精度损失严重。而且生成文字本身有延迟，机械臂不能等你想完再动。
第二条：连续潜在推理。 不经过语言，直接在向量空间里做"思维链"——一串连续的隐变量代表推理步骤。表达力更强，延迟更低。但之前的方法只用在模仿学习里——模型看着人类演示"背答案"，没有真正的试错探索。
两条路都走到了死胡同：一个精度不够，一个适应性不够。
LaST-R1 的破局：让潜在推理进入 RL 循环
这篇论文的核心创新是 Latent-to-Action Policy Optimization（LAPO）——把潜在思维链推理直接嵌入强化学习的优化循环。
具体来说，LaST-R1 的工作流程是这样的：
1. 视觉编码：Qwen3-VL 处理视觉输入和语言指令 2. 潜在 CoT 推理：在动作生成之前，模型在潜在空间中生成一串"物理推理"隐变量——不是语言，不是动作，而是介于两者之间的"物理世界模型" 3. 动作生成：基于潜在推理的结果，生成具体动作 4. 环境反馈：动作执行后获得奖励信号 5. 联合优化：LAPO 同时更新潜在推理和动作生成的参数
关键在于第5步——传统 RL 只优化动作空间，LAPO 把潜在推理也纳入优化范围。这意味着模型不仅在学习"做什么动作"，还在学习"怎么想才能做出好动作"。
自适应推理深度：该想多少想多少
论文的另一个亮点是 自适应潜在 CoT 机制。
不同任务的复杂度不同——"把杯子推到左边"可能只需要1步推理，"在多个障碍物之间抓取目标并放到指定位置"可能需要5步。LaST-R1 让模型自己学习何时停止推理：通过预测
这和 DoubtLess 论文发现的"冗余在答案之后"形成有趣对照：推理模型的过度思考主要发生在答案出现后的验证阶段。LaST-R1 的自适应机制本质上是在说——不同任务需要不同的推理预算，固定深度要么浪费要么不够。
数据：从及格到满分的跨越
实验结果令人印象深刻：
- LIBERO 基准：99.9% 平均成功率（仅需一次监督预热）
- 收敛速度：显著超越之前的 SOTA 方法
- 真实世界：4 个复杂任务（含单臂和双臂），比 SFT 基线平均提升 22.5%
- 泛化能力：仿真到真实的迁移表现稳健
代码与工程细节
论文完整开源了代码（https://github.com/CHEN-H01/LaST-R1 ），包括：
- 基于 Qwen3-VL + veRL 的训练框架
- LIBERO 全部4个基准的 SFT 预热模型和 RL 后训练模型（HuggingFace 开源）
- 核心文件结构清晰：
main_ppo.py（训练入口）、core_algos.py（LAPO 核心算法）、rob_rollout.py（环境交互）
run_libero_rl_training.sh 支持通过 VAL_ONLY 切换训练/评估模式，通过 DATASET_NAME 切换不同基准。值得注意的是，代码基于 SimpleVLA-RL 构建——这说明 LaST-R1 的增量创新集中在 LAPO 算法和自适应推理机制上，而不是从零搭建系统。这种"站在巨人肩膀上"的策略让复现和扩展都更容易。
更深层的启示
这篇论文的贡献可以提炼为一个原则：推理空间和动作空间的联合优化，比单独优化任何一个都更有效。
传统方法的隐含假设是"动作对了就行，推理过程不重要"。但 LaST-R1 证明：推理过程的质量直接决定动作的质量——因为物理世界的复杂性不在于"做什么"，而在于"为什么做"——理解了物理动力学，动作自然就对了。
这和 Hy-Memory 的"chunk 级归因"有异曲同工之处：终端奖励太稀疏，需要把信用分配到中间步骤。LaST-R1 的潜在 CoT 就是中间步骤——通过优化这些中间推理，RL 的信号不再只作用于最终动作，而是渗透到整个"感知-推理-行动"链条。
另一个值得关注的点是"一次监督预热"就够了这个发现。传统 VLA 需要大量演示数据，LaST-R1 只需要一次——然后靠 RL 自主探索。这暗示了一个更深的原理：模仿学习的价值不在于教策略"做什么"，而在于给 RL 一个合理的起点。 就像学骑自行车——有人扶你一次就够了，剩下的靠你自己摔出来的肌肉记忆。
论文链接：https://arxiv.org/abs/2604.28192 代码仓库：https://github.com/CHEN-H01/LaST-R1 项目主页：https://siriyep.github.io/last-r1