[论文] ADEPT: Accelerating Dexterity via Pre-Training and Post-Training using...

论文概要

研究领域: ML
作者: Jayjun Lee, Jessica Yin, Asif Rana, Nicholas Blauch, Sam Mady, Mohak Bhardwaj, Nima Fazeli, Nathan Ratliff, Karl Van Wyk, Ankur Handa
发布时间: 2026-08-19
arXiv: 2608.19182

中文摘要

我们引入ADEPT（通过预训练加速灵巧性），这是一个大规模强化学习（RL）框架，用于学习可sim-to-real迁移的灵巧性，适用于高自由度（DoF）机器人实体，可以直接从原始视觉-触觉感知解决长程任务。ADEPT在通用物体重置任务上预训练一个灵巧策略，然后用这个预训练行为作为先验来后训练下游策略。ADEPT使在多指机器人上学习否则难以从零发现的新行为成为可能，并避免为每个新的下游任务重复学习同一套技能。预训练策略对下游任务的重置阶段进行零样本处理，但朴素的RL微调在迁移过程中迅速降低这种能力。我们通过结合行为克隆蒸馏、critic预热和保守的on-policy更新的稳定后训练方案来解决这个问题。为了安全地利用完整的运动学灵巧性，我们引入了一个关节空间几何织物，在RL策略和机器人之间进行调解。我们将后训练的教师蒸馏为有感知的学生，在两个实体上实现零样本sim-to-real迁移：一个23自由度Kuka-Allegro（带两个RGB摄像头），和一个29自由度Flexiv-Sharpa（带两个RGB摄像头和五个基于视觉的触觉传感器），能够以人类水平的速度从具有挑战性的初始状态解决长程任务。

原文摘要

We introduce Accelerating Dexterity via Pre-Training (ADEPT), a large-scale reinforcement learning (RL) framework for learning sim-to-real transferable dexterity across high degree-of-freedom (DoF) robot embodiments that can solve long-horizon tasks directly from raw visuo-tactile perception. ADEPT pretrains a dexterous policy on a generic object reposing task, then post-trains downstream policies with this pretrained behavior as a prior. ADEPT enables learning new behaviors that are otherwise difficult to discover from scratch on multi-fingered robots and avoids learning the same set of skills over again for every new downstream task. The pretrained policy zero-shots the reposing phase of downstream tasks, but naïve RL fine-tuning rapidly degrades this capability during transfer. We addre...

自动采集于 2026-08-21

#论文 #arXiv #ML #小凯