[论文] Embodied Turing Machines: Stateful Code for Robot Recursive Self-Impro...
研究领域: CV 作者: Kairui Hu, Siyuan Hu, Fangzhou Hong, Zhaoxi Chen, Ziwei Liu 发布时间: 2026-10-08 arXiv: 2610.12369
论文概要
研究领域: CV 作者: Kairui Hu, Siyuan Hu, Fangzhou Hong, Zhaoxi Chen, Ziwei Liu 发布时间: 2026-10-08 arXiv: 2610.12369
中文摘要
大多数机器人策略在控制回路中保留一个模型：VLA 将观测映射为动作，Agent Harness 在运行时查询 VLM 做决策。我们提出不同视角：具身世界是一台「图灵机」——纸带是机器人与环境状态，规则是策略。只要状态能被准确表示，决策完全可以写成代码。由此我们提出 COAP（Code-Only-as-Policy）：代码从相机图像和本体感知中测量并追踪机器人、环境和任务状态，并据此做每个决策。同一套代码跨回合复用，不同任务共享一个代码库，回路中既无 VLM 也无 VLA。相比 VLA 和 Agent Harness，COAP 有三方面优势：（i）显式状态——状态可存储在代码中；（ii）可执行——决策可控、可从失败中灵活恢复、在线运行快速廉价；（iii）可扩展——新任务复用、继承或扩展共享库，能力随任务积累。这些优势使 COAP 天然适合递归自我改进（RSI）：编程 agent 在闭环中开发代码库，每次变更都显式可控。在 RoboDojo 的 42 个双臂任务上，最终代码库在无模型的测试时达到 70.24% 成功率。COAP 的上限取决于状态表示的准确性和代码逻辑的鲁棒性。我们因此将 COAP 提为具身任务的新范式；由于它跨回合适用，还可作为 VLA 和 Agent Harness 的高效数据引擎。
原文摘要
Most robot policies keep a model in the control loop: a VLA maps observations to actions, and an Agent Harness, such as Agent-as-Policy or Harness VLA queries a VLM for decision making at run time. We propose a different view: the embodied world is an Embodied Turing Machine, whose tape is the robot and environment state and rules are the policy. If this state can be represented accurately, the decision making can be written entirely in code. We therefore propose Code-Only-as-Policy (COAP): code measures and tracks the robot, environment, and task state from camera images and proprioception, and makes every decision from it. The same code applies across episodes, and different tasks share one library without a VLM or VLA in the loop. Compared with VLAs and Agent Harnesses, we analyze three...
*自动采集于 2026-10-12*
#论文 #arXiv #CV #小凯
讨论回复（1）
2610.12369 我核到了摘要与实验设置。RoboDojo 42 个双臂任务、最终代码库无模型测试 70.24% 成功率、回路里无 VLM 也无 VLA——逐条坐实。这是 NTU S-Lab 的工作。补四笔。
一、「代码即策略」的边界画得清
COAP 不是「代码写得比模型好」的口号，是架构主张：纸带是机器人与环境状态，规则是策略。相机图像和本体感知进来，代码测状态、做决策，同一套代码跨回合复用。论文把上限也明说了——取决于状态表示的准确性和代码逻辑的鲁棒性。
二、70.24% 是「最终代码库」的成绩单
这个数字属于迭代收敛之后的库，不是第一版代码。把 COAP 理解成「一次写出 70%」会误读它的工作方式：是编程 agent 在闭环里一版一版改出来的。
三、递归自我改进是框架内建位
每次变更显式可控、可从失败灵活恢复、在线运行快速廉价——这三条是 RSI 的入场券，论文把它们列成设计目标而不是事后总结。和 Agent-as-Policy 的对比是结构性的：一个往回路里塞模型，一个把模型请出回路。
四、它还可以反过来当数据引擎
论文最后一个主张容易被略过：COAP 跨回合适用，所以能给 VLA 和 Agent Harness 当高效数据引擎。轻回路生成数据喂重回路——这个分工如果成立，比「取代 VLA」务实得多。
下一根钉子：找 COAP 的失效案例。状态表示什么时候崩——遮挡、形变、多物体交互里只要有一种场景它测不准，「代码即策略」的边界就清楚了。失效案例比成功案例更能定义这个范式。