EmbodiedSWE: Coding Agents for Long Horizon Dexterous Robotics

📄 arXiv: 2609.27308v1 📥 PDF

作者: Haoxiang You, Zeyu Shen, Yilang Liu, Zhicheng Zheng, Lihan Zha, Kashu Yamazaki, Mingtong Zhang, Suning Huang, Jiankai Sun, Qianzhong Chen, Lucy He, Kaiyuan Liu, Haoran Chang, Katerina Fragkiadaki, Dhruv Shah, Mac Schwager, Peter Henderson, Ian Abraham, Canwen Xu

分类: cs.RO

发布日期: 2026-09-23

💡 一句话要点

提出EmbodiedSWE以解决长时间复杂机器人任务的编码问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长时间任务 编码代理 变分自编码器 机器人学习 任务泛化

📋 核心要点

  1. 现有方法在长时间复杂机器人任务中缺乏有效的通用策略学习，导致解决方案的可扩展性不足。
  2. 论文提出了EMBODIEDSWE-BENCH基准和EMBODIEDSWE-GEN方法，通过编码代理生成多样化轨迹来训练变分自编码器。
  3. 实验结果表明，编码代理能够解决复杂任务，并且VLA在生成演示数量增加时性能显著提升，成功在真实机器人上完成任务。

📝 摘要（中文）

本研究探讨了用于长时间、灵巧机器人任务的编码代理，旨在评估其解决方案是否能为学习通用机器人策略提供可扩展的监督。为此，我们开发了EMBODIEDSWE-BENCH，一个涵盖接触丰富的操控、可变形物体和长时间任务的模拟基准。研究发现，前沿编码代理能够解决复杂的长时间任务，并在任务和体现之间转移先前的解决方案。此外，我们设计了支持工具，帮助代理更有效地解决这些任务。然而，结果解决方案需要大量的迭代交互，通常专门针对单个任务实例。因此，我们引入了EMBODIEDSWE-GEN，将编码代理的单一解决方案扩展为多样化的轨迹，以训练变分自编码器（VLA）。VLA的性能随着生成演示的增加而提高，代理辅助的多样化也改善了对未见任务变体的泛化。我们还展示了仅在编码代理生成的模拟演示上微调的VLA能够在真实机器人上完成长时间任务。我们的框架利用编码代理解决复杂机器人任务，并将验证的解决方案转化为机器人策略的可扩展监督。

🔬 方法详解

问题定义：本论文旨在解决长时间复杂机器人任务的编码问题，现有方法在任务的可扩展性和泛化能力上存在不足，尤其是在面对多样化任务时。

核心思路：论文的核心思路是通过编码代理生成多样化的轨迹，以此为基础训练变分自编码器（VLA），从而提高机器人在复杂任务中的表现和泛化能力。

技术框架：整体框架包括两个主要模块：EMBODIEDSWE-BENCH基准用于评估编码代理的性能，EMBODIEDSWE-GEN用于生成多样化的训练轨迹。代理通过模拟环境进行大量迭代交互，以优化任务解决方案。

关键创新：最重要的技术创新在于将编码代理的解决方案扩展为多样化轨迹，这一方法显著提升了VLA的训练效果和泛化能力，与传统方法相比，能够更好地应对未见任务变体。

关键设计：在设计中，采用了特定的损失函数来优化代理的学习过程，并通过调整网络结构来适应不同任务的需求，确保生成的轨迹具有足够的多样性和代表性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，编码代理在长时间任务中表现出色，能够成功转移解决方案，VLA在生成演示数量增加时性能提升显著，最终在真实机器人上完成任务，展示了较强的泛化能力和实用性。

🎯 应用场景

该研究的潜在应用领域包括工业自动化、服务机器人和医疗机器人等，能够为复杂任务的机器人提供更高效的学习和适应能力。未来，随着技术的进步，可能会在更多实际场景中实现智能化的机器人操作，提升工作效率和安全性。

📄 摘要（原文）

We study coding agents for long-horizon, dexterous robotics and ask whether their solutions can provide scalable supervision for learning general robot policies. To test this, we develop EMBODIEDSWE-BENCH, a simulation benchmark for coding agents spanning contact-rich manipulation, deformable objects, and long-horizon tasks requiring up to half an hour of continuous interaction. We find that frontier coding agents can solve complex long-horizon tasks and transfer prior solutions across both tasks and embodiments. We also design supporting tools that help agents more effectively solve these tasks. However, the resulting solutions require substantial iterative interaction and are typically specialized to individual task instances. We therefore introduce EMBODIEDSWE-GEN, which expands a single solution from coding agent into large diverse trajectories for training a VLA. VLA performance improves with more generated demonstrations, and agent-aided diversification improves generalization to held-out task variations. We also show that a VLA finetuned solely on coding-agent-generated simulation demonstrations completes a long-horizon task on real robot. Together, our framework uses coding agents to solve complex robotics tasks and turn verified solutions into scalable supervision for robot policies.