Self-Evolving Coding Agents: From Digital Programs to Physical-World Intelligence
作者: Hongcheng Gao, Jingjing Zhou, Zelin Zheng, Shijia Ge, Jay Zhu, Yazhe Wang, Jianshu Zeng, Xuan Shangguan, Di Wu, Lingyu He, Zhiqi Jia, Sihang Wu, Xiao He
分类: cs.RO
发布日期: 2026-09-28
备注: Technical report
💡 一句话要点
提出物理编码方法以解决机器人执行中的泛化问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 物理编码 机器人执行 视觉-语言-动作 自我进化 任务泛化
📋 核心要点
- 现有的VLA和WAM模型在面对布局或视角变化时容易失败，且指令的泛化能力较差，主要原因在于任务要求和执行过程的隐式编码。
- 论文提出物理编码方法，将任务状态和执行过程显式表示为代码，利用数字编码代理的模式来提升机器人在物理世界中的执行能力。
- HexaAnything系统在RoboCasa365上提高了Composite-Unseen的成功率，且在PhyBench上能够自主完成物理实验和大多数桌面任务，表现优于现有基线。
📝 摘要（中文）
本论文提出了一种物理编码方法，通过将任务状态和执行过程表示为代码，解决了现有视觉-语言-动作（VLA）和世界-动作（WAM）模型在机器人执行中的泛化不足。该方法利用数字编码代理的工作模式，允许机器人在物理世界中进行可管理的执行和可修订的程序。我们构建了HexaAnything系统，能够调用感知、规划和控制工具，并根据外部反馈进行决策。实验结果表明，HexaAnything在RoboCasa365和PhyBench上表现优异，显著提升了任务成功率，展示了数据、模型和工具的自我进化能力。
🔬 方法详解
问题定义：现有的VLA和WAM模型在执行过程中对环境变化的适应性差，导致任务执行失败且难以进行有效的调整和修正。
核心思路：本论文提出的物理编码方法通过将任务状态和执行过程表示为代码，允许机器人在执行过程中进行可管理的状态跟踪和反馈修正，从而提升泛化能力。
技术框架：整体架构包括HexaAnything系统，该系统集成了感知、规划和控制模块，能够实时调用VLA/WAM策略并根据外部反馈进行决策。
关键创新：最重要的创新在于将代码作为世界的概念引入，记录对象、关系和约束，使得执行过程可追溯和可修订，显著提升了机器人在物理世界中的执行能力。
关键设计：系统设计中采用了可验证的执行轨迹作为数据和记忆，支持工具和模型的自我进化，具体参数设置和损失函数设计未在摘要中详细说明，需查阅原文获取更多技术细节。
🖼️ 关键图片
📊 实验亮点
在RoboCasa365上，HexaAnything系统在Composite-Unseen任务上取得了显著提升，整体成功率超过XR-1 VLA。HexaModel在各个数据分割上均优于基线，显示出代码轨迹有效内化了物理执行能力。
🎯 应用场景
该研究的潜在应用领域包括制造业、科学实验和服务机器人等，能够提升机器人在复杂环境中的自主执行能力和适应性。未来，物理编码方法有望推动机器人技术的进一步发展，促进智能系统的自我学习和自我优化。
📄 摘要（原文）
Vision-language-action (VLA) and world-action (WAM) models map observations and instructions directly to robot actions. This directness ties a policy to training: minor layout or viewpoint changes cause failure, and instructions generalize poorly. The root cause lies in representation: task requirements, conditions, progress, and failure recovery are implicitly encoded in action sequences, making them difficult to inspect or revise. Digital coding agents offer a precedent: LLMs call tools, verify results, and revise from feedback as executable code. The same working pattern of explicit state, manageable execution, and revisable procedures underlies generalization and long-horizon execution in the physical world, letting physical experience return as reusable programs, memory, or evidence. We propose Physical Coding, representing task state and execution as code. Code as World records objects, relations, constraints, and progress; Code as Policy organizes planning, verification, recovery, and execution. We build HexaAnything, which calls perception, planning, and control tools, including VLA/WAM policies, and makes in-the-loop decisions from external feedback. Verified traces become data and memory, enabling evolution from tools and Harness to model weights, architectures, and ultimately hardware and task design. On RoboCasa365, HexaAnything improves Composite-Unseen and overall success over XR-1 VLA, and its Harness-trained HexaModel beats the base on every split, indicating code traces internalize physical execution. On PhyBench and a dual-arm AgileX robot, the agent autonomously completes physics experiments and most tabletop tasks, often faster than published results. We observe data, model, and tool self-evolution; future work targets weight internalization, autonomous redesign of architectures, languages, representations, and tasks, and deployment in manufacturing and science.