EmbodiedSmith: Scaling Embodied Data through Recursive Self-Improvement Flywheel in Simulation
作者: Yikai Qin, Yifei Deng, Mingjian Liang, Wenxuan Song, Zepeng Lin, Zhiyi Jiang, Jiajun Fu, Qiao Sun, Huashuo Lei, Xicheng Gong, Jiayi Chen, Han Zhao, Shuanghao Bai, Pengxiang Ding, Pengwei Wang, Haoang Li
分类: cs.CV, cs.RO
发布日期: 2026-10-06
💡 一句话要点
提出EmbodiedSmith以解决机器人数据生成的多样性与评估环境不足问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人数据生成 递归自我改进 仿真环境 多样性提升 任务生成 场景生成 智能化循环
📋 核心要点
- 现有的机器人数据生成方法在多样性和复杂性上存在不足，限制了模型的训练效果。
- EmbodiedSmith框架通过递归自我改进机制，统一了资产、场景和任务生成，支持自主创建和语言驱动的定制。
- 实验结果表明，生成的数据在质量和多样性上显著提升，且增加的数据多样性改善了下游任务的泛化能力。
📝 摘要（中文）
扩展机器人基础模型需要多样化的训练数据和可靠的评估环境。尽管仿真提供了可扩展的解决方案，但现有生成管道受到预定义资产和技能的限制，场景生成与任务生成之间存在脱节，且对复杂的体现和物理现象支持有限。本文提出了EmbodiedSmith，一个通过递归自我改进（RSI）实现可扩展的体现数据生成框架。EmbodiedSmith统一了资产、场景和任务生成，支持自主创建和基于语言的定制。其核心是一个智能化的精炼循环：场景生成预见下游任务需求，而任务生成指导针对性的场景编辑，使场景和任务能够相互迭代改进。该框架进一步支持移动操纵器、人形机器人和灵巧手，以及涉及可变形物体和流体的交互，拓宽了生成数据中表现的行为和物理现象的范围。
🔬 方法详解
问题定义：本论文旨在解决现有机器人数据生成方法在多样性、复杂性和评估环境方面的不足。现有方法通常依赖于预定义的资产和技能，导致生成的数据无法满足复杂任务的需求。
核心思路：提出的EmbodiedSmith框架通过递归自我改进机制，实现了资产、场景和任务的统一生成。该设计允许场景生成与任务生成相互影响，从而提高生成数据的质量和适应性。
技术框架：EmbodiedSmith的整体架构包括三个主要模块：资产生成、场景生成和任务生成。资产生成模块负责创建可用的环境元素，场景生成模块根据任务需求构建场景，而任务生成模块则指导场景的编辑和优化。
关键创新：最重要的技术创新在于引入了智能化的精炼循环，使得场景和任务能够相互迭代改进。这一机制显著提升了长时间任务的成功率，并扩展了支持的物理现象范围。
关键设计：在设计中，框架支持移动操纵器和人形机器人，并能够处理可变形物体和流体的交互。具体的参数设置和损失函数设计尚未详细披露，需进一步研究。
🖼️ 关键图片
📊 实验亮点
实验结果显示，EmbodiedSmith生成的数据在质量和多样性上显著优于现有方法，尤其是在长时间任务的成功率上有明显提升。具体数据表明，增加的数据多样性使得下游策略的泛化能力得到了增强。
🎯 应用场景
EmbodiedSmith框架具有广泛的应用潜力，能够用于机器人预训练和评估，特别是在需要复杂交互和多样化场景的任务中。其灵活性使得研究人员能够快速生成适应不同需求的仿真数据，推动机器人技术的发展。
📄 摘要（原文）
Scaling robotic foundation models requires diverse training data and reliable evaluation environments. Simulation offers a scalable solution, yet existing generation pipelines remain constrained by predefined assets and skills, a disconnect between scene generation and task generation, and limited support for complex embodiments and physics. We introduce EmbodiedSmith, a framework for scalable embodied data generation through recursive self-improvement (RSI). EmbodiedSmith unifies asset, scene, and task generation in a pipeline that supports autonomous creation and language-driven customization. Its core is an agentic refinement loop: scene generation anticipates downstream task requirements, while task generation guides targeted scene edits, allowing scenes and tasks to iteratively improve one another. This joint refinement improves task generation success, including for long-horizon tasks. The framework further supports mobile manipulators, humanoids, and dexterous hands, as well as interactions involving deformable objects and fluids, broadening the range of behaviors and physical phenomena represented in generated data. Together, these capabilities provide a flexible simulation engine for both robot pretraining and evaluation. Extensive experiments validate the quality, diversity, and generation efficiency of the resulting data, while downstream policy experiments demonstrate that increased data diversity improves generalization.