SimEX: Simulation-Integrated Robotics AutoResearch
作者: Jiaheng Hu, Roberto Martin-Martin, Peter Stone, Rocky Duan, Zhenyu Jiang, Guanya Shi
分类: cs.RO, cs.AI, cs.LG
发布日期: 2026-09-30
💡 一句话要点
提出SimEX框架以解决机器人物理能力获取难题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人自研究 模拟实验 编码代理 物理能力获取 大型语言模型 自动化技术 智能机器人 实验优化
📋 核心要点
- 现有方法在将编码代理的能力转移到物理世界时面临理解不足和高实验成本的挑战。
- SimEX框架通过模拟实验与物理试验的结合，使编码代理能够高效获取控制真实机器人的能力。
- 在复杂的现实操作任务中，SimEX在仅10分钟的真实交互下，显著提升了机器人技能的获取效率。
📝 摘要（中文）
基于大型语言模型（LLMs）的编码代理在数字世界中展现了出色的自主推理和目标达成能力，但将这一成功转移到物理世界仍面临挑战。现有的直接生成方法（如将代码作为策略）常常受到LLMs对机器人和物理环境理解不足的影响，而在物理世界中进行迭代试错调优（如物理自研究）则会导致显著的实验成本和安全隐患。为此，本文提出了SimEX：一种集成模拟实验的机器人自研究框架，旨在高效获取控制真实机器人的物理能力。SimEX分为两个阶段：首先在模拟环境中进行开放式探测与优化，开发出具有鲁棒性和可泛化能力的机器人工具箱；其次通过少量物理试验适应工具箱和模拟器，利用每次试验纠正模拟器，并通过修正后的模拟器诊断故障和筛选候选修复方案。我们在模拟到模拟的设置以及物理机器人上对SimEX进行了广泛评估，结果表明SimEX能够在不需要演示的情况下，仅用10分钟的真实机器人交互，便高效获取机器人技能。
🔬 方法详解
问题定义：本文旨在解决编码代理在物理世界中获取机器人控制能力的困难，现有方法在理解机器人和物理环境方面存在不足，同时物理实验的高成本和安全隐患也是主要挑战。
核心思路：SimEX框架通过将模拟实验与物理试验紧密结合，首先在模拟环境中进行能力开发，然后通过少量物理试验进行适应和优化，旨在减少物理实验的需求和成本。
技术框架：SimEX的整体架构分为两个主要阶段：第一阶段是开放式的探测与优化，在模拟环境中开发出一个功能强大的机器人工具箱；第二阶段是通过少量的物理试验来校正模拟器，并利用校正后的模拟器进行故障诊断和修复方案筛选。
关键创新：SimEX的创新之处在于其将模拟与物理实验的结合，允许编码代理在模拟环境中进行高效的能力开发，并通过少量的物理试验进行快速适应，这与传统的物理自研究方法显著不同。
关键设计：在设计中，SimEX使用了开放式探测与优化策略，确保工具箱的鲁棒性和可泛化能力，同时在物理试验中采用了反馈机制，以便及时修正模拟器并优化后续实验。
🖼️ 关键图片
📊 实验亮点
在复杂的现实操作任务中，包括毛巾折叠、条形码扫描和盘子操作，SimEX使编码代理能够在仅10分钟的真实机器人交互下高效获取技能，显示出显著的性能提升。这一结果表明，模拟不仅是训练数据的来源，也是编码代理发展知识和程序的重要实验室。
🎯 应用场景
SimEX框架具有广泛的应用潜力，特别是在机器人操作、自动化制造和智能家居等领域。通过高效获取机器人技能，SimEX能够降低开发成本，提高机器人在复杂环境中的适应能力，推动智能机器人技术的实际应用和发展。
📄 摘要（原文）
Coding agents powered by large language models (LLMs) have shown remarkable abilities to autonomously reason about and achieve goals in the digital world. However, bringing this success to the physical world remains challenging. On the one hand, direct generation methods (e.g., Code as Policies) often suffer from the LLMs' insufficient understanding of robots and physical environments. On the other hand, iterative trial-and-error tuning in the physical world (e.g., physical autoresearch) induces significant experimental cost and safety concerns. We introduce SimEX: Simulation-Integrated Robotics AutoResearch, an autoresearch framework that tightly integrates simulated experimentation, enabling coding agents to efficiently acquire physical capabilities for controlling real robots. SimEX operates in two stages. First, the agent conducts open-ended probe-and-optimize iterations in simulation, developing a robot toolbox with robust and generalizable capabilities. Second, the agent adapts the toolbox and the simulator together through only a few physical trials: each trial corrects the simulator, and the corrected simulator is used to diagnose failures and screen candidate repairs. We evaluate SimEX extensively in sim-to-sim settings and on physical robots. On challenging real-world manipulation tasks including towel folding, barcode scanning, and plate manipulation, SimEX enables coding agents to efficiently acquire robot skills without any demonstration and with only 10 minutes of real-robot interaction. These results suggest that simulation can be a critical component in achieving physical intelligence, not only as a source of training data that must closely replicate the real world, but also as a roughly correct laboratory where a coding agent develops the knowledge and procedures needed to act on the robot. More details and robot videos at https://robo-simex.github.io/