[论文] Coding Agents with an Obstacle-Aware Harness for Safe Robot Manipulati...

论文概要

研究领域: NLP
作者: Bingxin Xu, Yuzhang Shang, Zhen Dong, Emilio Ferrara
发布时间: 2026-09-17
arXiv: 2609.20822

中文摘要

编程智能体（Coding Agent）已成为机器人操控的一种有前景的范式：语言模型将机器人控制器编写为程序，以这种方式构建的智能体现已无需机器人特定训练即可操控机器人。然而，这种范式是否安全尚未被研究过。我们在安全约束下评估编程智能体，每个任务将操控目标与机器人不可触碰的障碍物配对。智能体追求目标，但在大多数情况下与障碍物发生碰撞——它将任务完成视为唯一目标而忽视安全性。智能体在推理过程中确实考虑了障碍物，提示词也明确禁止触碰，因此感知和指令都没问题；问题出在规划环节——所述约束从未成为优先事项。通过将操控分解为路径阶段和接触丰富时刻，我们定位了失败根源。在路径阶段，模型无法优先考虑安全约束，既缺乏"避障路径"的概念，在所选路径不可行时也不会重新规划。在接触时刻，它未意识到接触执行同样受该约束限制。为弥补这一差距，我们提出 SafeHarness，为模型配备两个障碍物感知的安全约束优先级保障机制。障碍物感知路径规划将物体落地为边界框，并在其上绘制候选路径作为路点序列，智能体随后预先规划路径、验证、必要时重新规划，然后才执行。障碍物感知接触执行则选择接触位置，使接触本身避开障碍物。SafeHarness 达到 71.9% 的任务成功率和 87.5% 的避障率，分别超过此前 SOTA 6.5% 和 27.0%。这些结果分别是无安全框架同款智能体的 2.3 倍和 1.5 倍。

原文摘要

Coding agents have emerged as a promising paradigm for robot manipulation: a language model writes the robot controller as a program, and agents built in this way now operate robots without robot-specific training. Whether this paradigm is also safe, however, has not been asked. We evaluate coding agent under a safety constraint, where each task pairs a manipulation goal with an obstacle the robot must not touch. The agent pursues the goal but collides with the obstacle in most cases, treating task completion as its sole objective while neglecting safety. The agent reasons about the obstacle in its traces, and the prompt already forbids touching it, so neither perception nor instruction is at fault; the fault lies in the planning, where the stated constraint never becomes a priority. By de...

自动采集于 2026-09-19

#论文 #arXiv #NLP #小凯