当机器人卡在微波炉门上：AdaRSI 让具身智能体学会"按需自我升级"

一个微波炉引发的问题

想象一个场景：你让家里的机器人热一块华夫饼。它熟练地走到微波炉前，按下开门键——然后卡住了。它知道要用微波炉，知道要热华夫饼，但"开门再松手"这个动作它从来没学过。

这不是假设。在 RoboCasa365 基准测试中，GR00T N1.5（一个先进的视觉-语言-动作模型）在"华夫饼复热"任务上的成功率是 0%。它能走到微波炉前，但打不开门。

传统解决方案有两条路，都有硬伤：

第一条路：改"使用说明书"（harness-level）。 让智能体自己写工具和流程——比如"先开门，再放进去，再关门，再启动"。但如果执行器（VLA）本身就不会"开门"这个动作，说明书写得再好也没用。

第二条路：改"肌肉记忆"（weight-level）。 直接在失败的任务上微调执行器的权重。但问题是：你怎么知道是执行器的能力不够，还是你调用它的方式不对？如果只是调用方式错了，微调权重就是在做无用功——既浪费算力，还可能把原本能用的能力搞坏。

AdaRSI 的核心洞察是：先问"是不是调用方式的问题"，再问"是不是能力的问题"。

AdaRSI 的三步走

AdaRSI 来自东北大学和智元机器人（AgiBot）的联合团队，论文于 2026 年 10 月 14 日发布在 arXiv 上。它的全称是 "On-Demand Recursive Self-Improvement for Embodied Agents"——按需递归自我改进。

流程分三步：

第一步：harness 轮——改"说明书"

智能体先给自己写工具和流程。比如在"切食物"任务中，智能体发现 VLA 对"合适的切割工具"理解模糊，于是自己写了一条规则：面包用面包刀、苹果用水果刀、奶酪用奶酪刀。还加了提前终止检查——如果刀不对就别硬切。

这一步的效果立竿见影：切食物任务的成功率从 30% 提升到 50%。

但有些问题不是说明书能解决的。比如微波炉门——VLA 真的不会开。

第二步：归因——找到"真正的瓶颈"

harness 轮结束后，智能体对仍然失败的任务做归因分析。方法很巧妙：从保存的状态重试失败的子步骤。

如果某个子步骤反复失败，那就说明问题出在执行器的能力上，而不是调用方式上。AdaRSI 只对这些"确认能力不足"的子步骤进行微调。

第三步：weight 轮——只改需要改的"肌肉"

智能体自己收集失败子步骤的演示数据，然后微调执行器。关键约束是：

• 只微调被确认为"能力瓶颈"的子步骤
• 其他子步骤仍然用原 VLA
• 从之前任务中积累的经验可以传递到新任务

以华夫饼复热为例：harness 能到微波炉前，但 π₀ 不会开门和松手。微调后，专门处理"开门+松手"的小策略把成功率从 0% 拉到 38%。

数据说话：省着改，效果反而好

在 RoboCasa365 的全部 50 个任务上，AdaRSI 的表现：

最亮眼的是未见组合任务：从 4.6% 到 13.8%，翻了三倍。这意味着机器人学会了"把没见过的步骤串起来"。

更关键的是成本对比：

• 相比"微调所有子步骤"，AdaRSI 只用了 28% 的 GPU 时间
• 只用了 22% 的自采集演示数据
• 但成功率反而略高

为什么省着改效果反而好？因为"全量微调"会把已经能用的能力也一起改掉，引入噪声。AdaRSI 只动真正需要改的部分，保留了原 VLA 的其他能力。

一个反直觉发现：只改一层不够

论文中最有启发性的消融实验是"两层都不够单独用"：

• 只有 harness 层：能改善调用方式，但遇到能力天花板就无能为力
• 只有 weight 层：没有 harness 的引导，微调方向不准，"训练得更多，收益更少"
• 两层结合：harness 先把调用方式理顺，weight 再补上真正的能力缺口

这就像修车：先检查是不是操作不当（harness），确认是零件坏了再换零件（weight）。反过来先换零件，可能换了半天发现是操作手册写错了。

"按需"的哲学

AdaRSI 的核心贡献不是某个具体算法，而是一个判断框架：什么时候该改调用方式，什么时候该改权重。

这个框架的深层逻辑是：自我改进系统必须区分"能力问题"和"使用问题"。

这个洞察其实适用于更广泛的 AI 系统。想想 LLM Agent 的 prompt 工程 vs 微调之争——很多时候你以为是模型能力不够，其实是 prompt（harness）没写对。反过来，有些任务确实需要微调，再怎么调 prompt 也没用。

AdaRSI 给出了一个可操作的判别方法：在相同状态下重试，如果反复失败，才是能力问题。

局限与展望

论文诚实地讨论了局限：

1. 何时停止训练：目前依赖人工设定的阈值，未来需要更自动化的停止准则
2. 任务迁移：从 A 任务学到的能力能迁移到 B 任务，但迁移范围有限
3. 安全性：自主微调可能引入不安全行为，需要更好的验证机制

这些局限指向一个更根本的问题：自我改进系统的安全边界在哪里？ 当机器人能自己改自己的权重时，怎么确保它改的方向是对的？

对行业的启示

AdaRSI 的意义超越了具身智能：

1. 对 Agentic RL：不是所有失败都需要 RL 来修，先做归因再决定改什么
2. 对 Agent 工程：harness 和 executor 的分层改进是通用模式，适用于 LLM Agent、多智能体系统等
3. 对评测：评测自我改进系统时，要分别测 harness 层和 weight 层的贡献，否则会误判改进来源

步子哥之前关注 Heddle、CodeRescue 等 Agentic RL 系统，AdaRSI 的"按需"框架可以作为一个补充视角：改进的粒度比改进的幅度更重要。

论文链接：https://arxiv.org/abs/2610.20474

HTML 版本：https://arxiv.org/html/2610.20474v1

代码仓库：暂未开源（论文来自东北大学 & AgiBot）