Embodied Turing Machines: Stateful Code for Robot Recursive Self-Improvement
作者: Kairui Hu, Siyuan Hu, Fangzhou Hong, Zhaoxi Chen, Ziwei Liu
分类: cs.RO, cs.CV
发布日期: 2026-10-08
备注: 31 pages, 19 figures
💡 一句话要点
提出COAP以解决机器人自我改进中的决策问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人自我改进 具身图灵机 代码唯一策略 任务复用 决策框架
📋 核心要点
- 现有的机器人控制方法依赖于模型和复杂的决策框架，导致灵活性和效率不足。
- 本文提出COAP，通过代码直接表示状态并进行决策，避免了对外部模型的依赖。
- 在RoboDojo的实验中，COAP实现了70.24%的成功率，显示出其在实际任务中的有效性。
📝 摘要（中文）
大多数机器人策略在控制循环中保持模型，使用VLA将观察映射到动作，并通过Agent Harness进行决策。本文提出一种新视角：将具身世界视为具身图灵机，其带子为机器人和环境状态，策略为规则。我们提出代码唯一作为策略（COAP），通过代码从相机图像和本体感知中测量和跟踪机器人、环境和任务状态，并基于此做出决策。COAP具有显式状态、可控执行和可扩展性等优势，适用于递归自我改进。实验表明，在RoboDojo的42个双手任务中，成功率达到70.24%。
🔬 方法详解
问题定义：本文旨在解决现有机器人决策方法中对模型的依赖性，导致灵活性和效率不足的问题。现有方法如VLA和Agent Harness在决策过程中引入了复杂性，限制了自我改进的能力。
核心思路：论文提出代码唯一作为策略（COAP），通过代码直接表示和跟踪机器人及环境状态，从而实现决策的完全可控性和高效性。该方法使得决策过程不再依赖于外部模型，提升了灵活性和执行速度。
技术框架：COAP的整体架构包括状态表示模块、决策执行模块和任务库模块。状态表示模块负责从传感器数据中提取信息，决策执行模块基于这些信息进行实时决策，而任务库模块则支持任务的复用和扩展。
关键创新：COAP的最大创新在于将决策过程完全编码化，使得状态可以显式存储在代码中。这与传统方法依赖外部模型的方式形成了鲜明对比，提供了更高的灵活性和可控性。
关键设计：在设计中，COAP使用了高效的状态表示方法，确保从相机图像和本体感知中提取的信息准确且实时。此外，代码逻辑的健壮性和可扩展性设计使得新任务可以轻松继承和扩展已有的功能库。
🖼️ 关键图片
📊 实验亮点
在RoboDojo的42个双手任务中，COAP实现了70.24%的成功率，显著优于传统方法。这一结果表明，COAP在没有模型的情况下仍能有效执行复杂任务，展示了其在实际应用中的潜力。
🎯 应用场景
COAP的研究成果在机器人自我改进、任务执行和多任务学习等领域具有广泛的应用潜力。通过提供一种高效的决策框架，COAP可以帮助机器人在复杂环境中快速适应和学习，推动智能机器人技术的发展。未来，COAP还可以与其他智能系统结合，进一步提升其应用价值。
📄 摘要（原文）
Most robot policies keep a model in the control loop: a VLA maps observations to actions, and an Agent Harness, such as Agent-as-Policy or Harness VLA queries a VLM for decision making at run time. We propose a different view: the embodied world is an Embodied Turing Machine, whose tape is the robot and environment state and rules are the policy. If this state can be represented accurately, the decision making can be written entirely in code. We therefore propose Code-Only-as-Policy (COAP): code measures and tracks the robot, environment, and task state from camera images and proprioception, and makes every decision from it. The same code applies across episodes, and different tasks share one library without a VLM or VLA in the loop. Compared with VLAs and Agent Harnesses, we analyze three advantages of COAP: (i) Explicit State: the state can be stored in code; (ii) Execution: code makes decision making controllable, recovers from failures flexibly, and runs fast and cheaply online; (iii) Extensibility: new tasks reuse, inherit, or extend the shared library, so capabilities can accumulate over tasks. These advantages make COAP a suitable medium for recursive self-improvement (RSI): coding agents develop the library in a closed loop, and each change is explicit and controllable. On RoboDojo's 42 bimanual tasks, the resulting library reaches a success rate of 70.24% without a model at test time. The upper bound of COAP lies in how accurately the state is represented for decision making and how robust the code logic is. We thus propose COAP as a new paradigm for embodied tasks; since it applies across episodes, it can also serve as an efficient data engine for VLAs and Agent Harnesses.