Active Generative Simulation: Meta-Learning What to Simulate for Sim-and-Real Policy Co-Training
作者: Liqian Ma, Vaibhav Saxena, Utkarsh Aashu Mishra, Shuo Cheng, Yongxin Chen, Danfei Xu
分类: cs.RO
发布日期: 2026-10-14
备注: CoRL 2026
💡 一句话要点
提出主动生成仿真方法以优化机器人学习中的数据生成
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 主动生成仿真 元学习 机器人学习 数据生成优化 仿真与现实共同训练
📋 核心要点
- 现有的仿真与现实共同训练方法将仿真器视为固定数据源，缺乏灵活性，导致性能受限。
- 本文提出MetaGenSim框架，通过元学习自动优化仿真数据生成分布，避免了手动参数对齐的需求。
- 实验结果表明，MetaGenSim在现实世界任务中相较于均匀生成方法提升了150%的成功率，且效果与专家对齐相当。
📝 摘要（中文）
仿真与现实共同训练是一种通过仿真数据增强有限现实世界演示的有效机器人学习方法。然而，现有方法通常将仿真器视为固定数据源，依赖于均匀生成、离线检索或领域专家的手动参数对齐。本文提出了主动生成仿真（Active Generative Simulation）的方法，旨在优化仿真器的数据生成分布，以最大化下游现实世界性能。为此，我们提出了MetaGenSim，一个通过元梯度训练辅助评分网络的元学习框架，能够在用户指定的仿真参数空间内自动发现高效的数据生成分布，而无需手动参数对齐。在仿真和现实世界的操作任务中，MetaGenSim超越了均匀生成和检索基线，较均匀生成在现实世界的全任务成功率上实现了150%的相对提升，并与专家手动对齐相匹配。
🔬 方法详解
问题定义：本文旨在解决现有仿真与现实共同训练方法中，仿真器作为固定数据源的局限性，导致生成的数据无法有效提升现实世界的学习性能。现有方法依赖于均匀生成或手动对齐，缺乏灵活性和自动化。
核心思路：论文提出主动生成仿真（Active Generative Simulation）的方法，通过优化仿真器的数据生成分布，最大化下游任务的现实世界性能。MetaGenSim框架利用元学习技术，自动发现高效的数据生成策略，减少了对手动参数调整的依赖。
技术框架：MetaGenSim框架包含两个主要模块：辅助评分网络和元学习优化过程。辅助评分网络通过元梯度学习，评估不同数据生成分布的效用，并指导生成过程的优化。
关键创新：MetaGenSim的核心创新在于其自动化的数据生成分布优化能力，与传统方法相比，显著提高了生成数据的实用性和有效性，避免了手动干预。
关键设计：在设计上，MetaGenSim使用了轻量级的代理策略来进行数据生成分布的评估，采用了特定的损失函数来优化生成策略，并在仿真参数空间内进行探索，以发现最优的数据生成配置。
🖼️ 关键图片
📊 实验亮点
实验结果显示，MetaGenSim在仿真和现实世界任务中均表现优异，相较于均匀生成方法，现实世界全任务成功率提升了150%。此外，其性能与专家手动对齐的效果相当，验证了该方法的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动驾驶、虚拟现实等，需要在有限的真实数据基础上进行高效学习的场景。通过优化仿真数据生成，能够显著提升机器人在复杂环境中的适应能力和任务执行效率，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Sim-and-real co-training is an effective way to scale robot learning by augmenting limited real-world demonstrations with simulation data. However, existing approaches typically treat simulators as fixed data sources, relying on uniform generation, offline retrieval, or manual parameter alignment by domain experts. We formulate \textit{Active Generative Simulation}: optimizing a simulator's data-generation distribution to maximize downstream real-world performance. To solve this problem, we propose MetaGenSim, a meta-learning framework that trains an auxiliary rater network via meta-gradients to automatically discover high-utility data-generation distributions within a user-specified simulation parameter space, without manual parameter alignment. Across simulation and real-world manipulation tasks, MetaGenSim outperforms uniform generation and retrieval baselines, achieves a 150% relative improvement in real-world full-task success over uniform generation, and matches expert manual alignment. We further show that distributions curated with a lightweight proxy policy transfer to VLA fine-tuning, and that MetaGenSim can exploit partial alignment through atomic skill stitching and object-receptacle composition when exact sim-and-real task alignment is unavailable. Project website: https://meta-gensim.github.io