[论文] PPO vs. SAC: A Comparative Study for Cooperative Motion Control of Dua...

论文概要

研究领域: ML
作者: Nasim Fallahiarezoodar, Zheng H. Zhu
发布时间: 2026-10-27
arXiv: 2610.32034

中文摘要

日益增长的轨道碎片数量加剧了对主动碎片清除和在轨服务的兴趣，双臂空间机械臂相比单臂系统提供了改进的抓取稳定性和负载分配。然而，在双臂碰撞避免、方向对齐和感知不确定性下协调两个机械臂仍然具有挑战性。本文开发了一个协调强化学习框架，用于双臂空间机械臂在具有臂间碰撞避免约束的目标到达任务中的协同运动规划。集中式状态表示结合了关节空间、末端执行器和目标相对信息，而多目标奖励函数促进目标到达精度、方向对齐、运动平滑性、同步任务完成和碰撞避免。

在该框架内，近端策略优化（PPO）和软行为者-评论家（SAC）分别作为代表性的在策略和离策略算法进行比较，学习到的策略进一步被评估其对先前未见目标配置的泛化能力。在五个随机种子上，SAC在考虑的固定基座模拟场景中大幅优于PPO：它在每个种子中都达到了80%成功阈值（中位数160万环境步），而PPO在400万步预算内未达到，并且获得了更高的平均成功率（78.6%对7.4%），位置和方向误差更低，双臂同步更紧密。两种算法在未见边界目标上都有所退化，但SAC保留了大部分性能而PPO的性能崩溃。结果还暴露了PPO的一个失败模式：在两阶段塑形奖励下，它倾向于收敛到奖励滞留的局部最优，而不是致力于精确任务。这种行为凸显了在策略学习对奖励塑形的敏感性。

原文摘要

The growing population of orbital debris has intensified interest in active debris removal and on-orbit servicing, for which dual-arm space manipulators offer improved grasping stability and load distribution relative to single-arm systems. However, coordinating two manipulators under inter-arm collision avoidance, orientation alignment, and sensing uncertainty remains challenging. This paper develops a coordinated reinforcement learning framework for cooperative motion planning of a dual-arm space manipulator in a target-reaching task with inter-arm collision-avoidance constraints. A centralized state representation combines joint-space, end-effector, and target-relative information, while a multi-objective reward function promotes target-reaching accuracy, orientation alignment, motion s...

自动采集于 2026-10-27

#论文 #arXiv #ML #小凯