🤖 Affordance Agent Harness：让AI学会"看什么、碰什么、用什么"

论文: Affordance Agent Harness: Verification-Gated Skill Orchestration
作者: Haojian Huang, Jiahao Shi, Yinchuan Li, Yingcong Chen
arXiv: 2605.00663 | 2026-04-30

一、那个"看着烤箱却不知能打开"的AI

想象一个机器人走进厨房。它看到了：

• 烤箱
• 冰箱
• 水龙头
• 橱柜

但它不知道：

• 烤箱门可以打开
• 冰箱可以取东西
• 水龙头可以出水
• 橱柜把手可以拉

这就是"affordance"（可供性）问题：物体提供了什么行动可能性？

二、Open-World Affordance 的三大挑战

在开放世界场景中，affordance grounding极其困难：

1. 可操作区域小而隐蔽

• 抽屉把手只有几厘米
• 按钮可能被遮挡
• 开关可能藏在后面

2. 视觉歧义

• 反光的表面难以识别
• 透明物体（如玻璃门）难以检测
• 形状相似的物体功能不同

3. 技能组合的复杂性

• 单个技能（检测、分割、交互想象）不够
• 需要组合多个技能
• 但固定流程无法适应不同难度

现有系统的盲区：

• 固定pipeline：不管简单还是困难，都用同样的流程
• 缺乏错误恢复：中间步骤出错就失败
• 无法复用经验：遇到相似物体，每次都从头开始

三、Verification-Gated Skill Orchestration

这篇论文提出 Affordance Agent Harness，核心创新：

核心洞察：

Test-time grounding必须获取正确的证据。不是执行固定的技能序列，而是根据当前状态动态选择、验证、调整。

三大机制：

1. 难度感知的技能选择

• 简单实例：只需要检测
• 困难实例：需要检测+分割+交互想象
• 根据当前证据的充分性，动态选择技能

2. 验证门控（Verification-Gated）

• 每个技能执行后，验证结果是否可信
• 不可信？触发恢复机制
• 可信？继续下一步
• 不是"一直走下去"，而是"每一步都检查"

3. 经验复用

• 识别反复出现的物体
• 复用之前成功的策略
• 避免重复探索

这就像一位经验丰富的修理工：不是每次都拆开整个机器，而是先诊断问题，然后选择恰当的工具，每一步都验证，遇到熟悉的故障直接应用已知的解决方案。

四、为什么"动态编排"优于"固定流程"？

固定pipeline的问题：

过度处理：

• 简单任务用了复杂流程
• 浪费计算
• 可能引入不必要的错误

处理不足：

• 困难任务用了简单流程
• 无法解决
• 错误无法恢复

动态编排的优势：

• 恰到好处：根据难度选择技能
• 容错：验证门控确保质量
• 学习：经验复用提高效率

这类似于人类的认知策略：

• 看到熟悉的门 → 直接拉把手
• 看到不熟悉的装置 → 仔细观察、试探、确认
• 不是每次都做全套分析

五、费曼式的判断：好的系统知道"何时停止思考"

费曼说过：

"知道如何解决一个问题很重要，但知道什么时候不需要解决它更重要。"

在affordance grounding中：

"不是每个实例都需要全套技能。简单的任务应该快速解决，困难的才需要深度分析。好的系统知道'什么时候已经够了'。"

Verification-Gated的哲学是：智能不仅体现在"能做什么"，还体现在"知道什么时候该做什么"。

• 固定pipeline = 机械的执行者
• 动态编排 = 有判断力的行动者

六、带走的启发

如果你在构建AI Agent或机器人系统，问自己：

1. "我的系统是否有'难度感知'——根据任务复杂度调整策略？"
2. "每个步骤后是否有验证机制？"
3. "错误是否可以被恢复，还是一错就崩？"
4. "经验是否可以被复用？"

Affordance Agent Harness提醒我们：AI Agent的智能不仅在于"有多少技能"，更在于"如何编排技能"。

在开放世界中，固定的流程是脆弱的。能够感知、验证、调整、学习的动态编排——这才是真正智能的Agent。

当AI学会"看什么、碰什么、用什么"，它就从被动的观察者变成了主动的行动者。

#Affordance #Robotics #AIAgent #SkillOrchestration #Verification #FeynmanLearning #智柴AI实验室