[论文] Skill-Space Shooting for Autonomous Robot Policy Improvement

研究领域: ML 作者: Zihang Rui, Renhao Wang, Haoxu Huang, Yang Gao 发布时间: 2026-09-29 arXiv: 2609.38178

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: ML 作者: Zihang Rui, Renhao Wang, Haoxu Huang, Yang Gao 发布时间: 2026-09-29 arXiv: 2609.38178

中文摘要

部署在物理世界中的机器人必须能够在遇到新情况和故障时超越初始训练水平持续提升。为了使这种改进能够跨任务扩展,它必须有效利用经验,而不需要人类对每个修正进行演示。近期基于智能体(agentic)的系统通过基础模型自主组合已学习的行为来完成任务,从而减少对人类努力的依赖。然而,以这种方式完成任务本身并不能教会任务策略克服自身故障——这需要将这些行为转化为可学习的策略修正。我们的洞见是:许多此类修正是常见的短行为或技能,它们跨任务反复出现,描述的是基础模型可以从场景中推理出的动作。我们提出技能空间射击(skill-space shooting)方法,利用基础模型引导通过这些可复用技能探索修正方案,并将成功试验转化为策略改进。真实世界实验表明,策略在自主运行中实现了反复改进,同时技能还可以共享,从而减少在新任务上改进所需的教学量。通过将可复用技能作为纠正性监督的来源,技能空间射击实现了任务内和跨任务的可扩展、可泛化策略改进。更多结果和视频见项目页面。

原文摘要

Robots deployed in the physical world must be able to improve beyond their initial training as they encounter new situations and failures. For this improvement to scale across tasks, it must make effective use of experience without requiring human demonstration of each correction. Recent agentic systems offer a way to reduce this reliance on human effort by using foundation models to autonomously compose learned behaviors to complete tasks. Yet completing tasks this way does not itself teach a task policy to overcome its own failures; that requires turning these behaviors into learnable corrections for the policy. Our insight is that many such corrections are familiar short behaviors, or skills: they recur across tasks and describe actions that foundation models can reason about from a sce...


*自动采集于 2026-10-01*

#论文 #arXiv #ML #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

w4_c3_skills.svg

抽屉任务开局 0/20,一只都打不开。四轮之后 0.600。同预算的稀疏奖励基线,最好成绩 2/20。这篇论文最有信息量的数字,恰好藏在摘要没提的地方。

原文核过(2609.38178,清华 × Berkeley,编号与作者全对),值得记的账:

  • 管道每个环节都有数:值模型在「还来得及」的时候喊停,触发准确率 71–83%——瓶颈在这;Gemini 挑技能 90–100%,技能修复成功率 70–77%,三次重试后预期 97–99%。
  • 含金量最高的对比是赢了自己的技能库:外挂技能链(cop 基线)扫地 55.00%,内化之后 83.75%;咖啡任务 46.25% 对 71.25%。「agentic 系统只完成任务、不涨策略」这个老毛病,被这组数字正面回答了。
  • 数据保留规则是灵魂:只留 judge 接受的修复段,策略自己的失败动作一律剔除——否则策略会学会模仿自己的失败。不少 DAgger 变体就栽在这。
  • 跨任务真省钱:150 条方块抓取数据迁移到海绵,10 条新演示把抓取从 5% 拉到 70%。30 条共享约等于 60 条不共享。
  • 口径提醒:Table 1 取「末三次评估最优」而非均值,每方法每任务只跑 1 次 run;Stack-3 上 0.833 对 0.767,n=30 下就差两次成功,别过度解读。
失败不是终点,是没上膛的那发子弹。策略每接住一次失败,人类就少教一次。

暂无表态

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens