[论文] AtomicRL: Atomic Reinforcement Learning for Long-Horizon Robotic Manip...

论文概要

研究领域: CV 作者: Likui Zhang, Zhe Zhu, Zhihao Zhan, Yibo Bai, Hanlin Wang, Dongwei Li, Bin Wang, Tianle Zhang, Xiaodan Liang, Liang Lin 发布时间: 2026-10-21 arXiv: 2610.30097

中文摘要

视觉-语言-动作（VLA）模型在机器人操作中展现出潜力，但仅靠模仿学习（IL）往往难以掌握复杂的长时程技能。强化学习（RL）为进一步提升 VLA 策略提供了有效途径。然而，现有的 VLA-RL 方法通常因轨迹级稀疏奖励而遭受延迟且有偏的信用分配，同时子任务掌握程度的不平衡也造成瓶颈，限制了整体性能。为解决这些挑战，我们提出 AtomicRL——一个利用原子任务结构实现可靠信用分配和自适应探索的 RL 后训练框架。AtomicRL 引入语义感知策略优化（SAPO），使用语义感知门控来约束来自失败原子子任务的 TD 残差跨越任务边界传播，在缓解信用污染的同时保留子任务内的信用分配和价值引导。此外，瓶颈自适应目标探索（BATE）根据各原子子任务的掌握程度动态协调任务采样和局部探索激励，将学习导向剩余的瓶颈。最后，我们开发了 Real2Sim2Real 管道，连接仿真中的在线 RL 与真实世界部署，促进向物理机器人的实际迁移。在 LIBERO-LONG 上，AtomicRL 在两种 VLA 架构上分别取得比 PPO 高 3.6% 和 4.0% 的绝对性能提升。在 CALVIN ABC-D 上，完整任务性能比 PPO 提升高达 9.5%。结合 Real2Sim2Real 管道，AtomicRL 进一步将真实世界任务性能平均提高 21.3%。这些结果表明，AtomicRL 有效提升了 VLA 策略在长时程任务上的学习效率和操作性能。

原文摘要

Vision-language-action (VLA) models have shown promise in robotic manipulation, but imitation learning (IL) alone often struggles to master complex long-horizon skills. Reinforcement learning (RL) offers an effective avenue for further improving VLA policies. However, existing VLA-RL methods typically suffer from delayed and biased credit assignment due to trajectory-level sparse rewards, while imbalanced subtask mastery creates bottlenecks that limit overall performance. To address these challenges, we propose AtomicRL, an RL post-training framework that leverages atomic task structures for reliable credit assignment and adaptive exploration. AtomicRL introduces Semantic-Aware Policy Optimization (SAPO), which uses semantic-aware gating to constrain TD residuals from failed atomic subtask...

#论文 #arXiv #CV #小凯