EmbodiedEvo: Self-improving Coding Agents for Physical Intelligence
作者: Wenyi Li, Yizhe Chi, Youjie Zheng, Chunyu Liu, Xiaoqiu Wang, Mingju Gao, Zheng Jiang, Deyao Hong, Calvin Xiao, Kaisen Yang, Qinhuai Na
分类: cs.RO
发布日期: 2026-10-13
💡 一句话要点
提出EmbodiedEvo以解决物理智能中的编码代理自我改进问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 物理智能 编码代理 自我改进 技能进化 任务执行 机器人控制 强化学习
📋 核心要点
- 现有的视觉-语言-动作模型在物理执行中容易出现重复失败，缺乏有效的自我改进机制。
- 论文提出EmbodiedEvo，通过在单一场景中进化可重用的技能和经验，使代理能够自主检查状态、修订和执行代码。
- 在RoboDojo-Sim上的实验结果显示，EmbodiedEvo的成功率和得分均超过了现有方法，特别是在记忆依赖任务上表现突出。
📝 摘要（中文）
将通用代理引入物理世界需要可执行的物理智能表示。与直接将观察和语言指令映射到动作的视觉-语言-动作模型相比，代码使控制逻辑变得明确且可重用。代码不仅可以作为策略表示，还可以作为代理解决任务的工作空间。EmbodiedEvo通过反馈在单一场景中进化可重用的技能和经验，从而在多样的新场景中保持和改进经验。在RoboDojo-Sim上，EmbodiedEvo的平均得分为44.48，成功率为37.82%，超越了所有官方验证结果。配对测试显示，在依赖记忆的任务上取得了最大的提升，而精细接触控制仍然困难。
🔬 方法详解
问题定义：本论文旨在解决物理智能代理在执行任务时的自我改进能力不足的问题。现有方法在面对物理执行时容易出现重复失败，缺乏有效的反馈机制来提升性能。
核心思路：论文提出的EmbodiedEvo通过在单一场景中进化可重用的技能和经验，使代理能够在执行过程中自主检查状态、修订代码并利用反馈选择下一步行动。这种方法使得代理不再依赖于固定的规划、执行和验证流程。
技术框架：EmbodiedEvo的整体架构包括三个主要模块：状态检查模块、代码修订模块和反馈利用模块。代理首先检查当前状态，然后根据反馈修订控制代码，最后执行修订后的代码以完成任务。
关键创新：EmbodiedEvo的核心创新在于将代码作为控制逻辑的明确表示，使得代理能够在物理环境中自我改进。这与传统的视觉-语言-动作模型形成了鲜明对比，后者通常缺乏灵活的自我调整能力。
关键设计：在设计上，EmbodiedEvo采用了特定的损失函数来评估执行效果，并通过强化学习策略优化代码修订过程。网络结构上，代理使用了模块化的编码方式，以便于技能和经验的重用。具体参数设置和网络结构细节在论文中进行了详细讨论。
🖼️ 关键图片
📊 实验亮点
在RoboDojo-Sim的实验中，EmbodiedEvo达到了44.48的平均得分和37.82%的成功率，超越了所有官方验证结果。特别是在记忆依赖任务上，代理的表现提升显著，成功率提高了8.86和5.50个百分点，显示出技能和经验的有效重用。
🎯 应用场景
EmbodiedEvo的研究成果在多个领域具有潜在应用价值，包括机器人控制、自动化任务执行和智能制造等。通过提升代理在物理环境中的自我改进能力，该方法可以显著提高任务执行的效率和成功率，推动智能代理在实际应用中的广泛部署。
📄 摘要（原文）
Bringing general-purpose agents into the physical world calls for an executable representation of physical intelligence. Compared with vision-language-action (VLA) models, which map observations and language instructions directly to actions, code makes control logic explicit and reusable. Code can serve not only as a policy representation but also as the workspace in which the agent solves a task. Rather than following a prescribed workflow of planning, execution, and verification, the agent can autonomously inspect the state, revise and execute code, and use feedback to choose the next step. The success of this SWE-style loop in digital environments motivates its extension to physical tasks. Yet physical execution remains prone to recurring failures. To retain and refine experience for later scenes, we introduce EmbodiedEvo, where a coding agent evolves reusable Skills and Lessons through feedback on a single Playground scene, then freezes the resulting harness for diverse new scenes. On RoboDojo-Sim, EmbodiedEvo achieves an average score of 44.48 and a success rate of 37.82\%, surpassing all officially verified results. Paired tests show the largest gains on memory-dependent tasks and successful reuse of coordinated procedures, while fine contact control remains difficult. Experience from stronger models also improves weaker executors: Astra's experience raises Sol and Luna's success rates by 8.86 and 5.50 percentage points over no experience. Compared with raw interaction history, Skills and Lessons achieve comparable task performance at 53.0\% lower execution cost.