RoboEvolve: Co-Evolving Planner-Simulator for Robotic Manipulation with Limited Data

📄 arXiv: 2605.13775v1 📥 PDF

作者: Harold Haodong Chen, Sirui Chen, Yingjie Xu, Wenhang Ge, Ying-Cong Chen

分类: cs.RO, cs.CV

发布日期: 2026-05-13

备注: On-going work

💡 一句话要点

RoboEvolve：面向数据稀缺的机器人操作，共进化规划器-模拟器

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 机器人操作 共进化 视觉语言模型 视频生成模型 数据稀缺 持续学习 自主学习

📋 核心要点

  1. 机器人操作任务面临数据稀缺问题，现有视觉语言模型和视频生成模型存在语义空间错位和物理幻觉等问题。
  2. RoboEvolve通过共进化视觉语言模型规划器和视频生成模型模拟器，构建相互增强的循环，解决数据稀缺和模型偏差问题。
  3. 实验表明，RoboEvolve在数据效率、任务完成度和持续学习能力方面均优于现有方法，仅用少量未标记数据即可实现显著提升。

📝 摘要（中文）

机器人操作的可扩展性受到任务对齐的物理交互数据稀缺的根本限制。虽然视觉-语言模型(VLMs)和视频生成模型(VGMs)在自主数据合成方面具有前景，但它们分别存在语义-空间错位和物理幻觉的问题。为了弥合这一差距，我们引入了RoboEvolve，这是一个新颖的框架，它将VLM规划器和VGM模拟器耦合到一个相互加强的共进化循环中。RoboEvolve纯粹基于未标记的种子图像运行，利用认知启发的双阶段机制：(i) 白天探索通过语义控制的多粒度奖励来促进物理基础的行为发现，以及(ii) 夜间巩固挖掘“险胜”失败以稳定策略优化。在自主渐进式课程的指导下，系统自然地从简单的原子动作扩展到复杂的任务。大量实验表明，RoboEvolve (I) 实现了卓越的有效性，将基础规划器提升了30个绝对点，并将模拟器的成功率平均提高了48%；(II) 表现出极高的数据效率，仅用500个未标记的种子就超过了完全监督的基线——减少了50倍；以及(III) 展示了强大的持续学习能力，没有灾难性遗忘。

🔬 方法详解

问题定义：机器人操作任务中，物理交互数据的获取成本高昂，导致数据稀缺。现有的视觉语言模型（VLM）和视频生成模型（VGM）虽然可以用于数据合成，但VLM存在语义-空间错位问题，VGM则容易产生物理上不合理的幻觉，限制了它们在机器人操作中的应用。

核心思路：RoboEvolve的核心思想是利用共进化机制，将VLM规划器和VGM模拟器耦合在一起，形成一个相互促进的循环。VLM规划器负责生成语义上合理的动作序列，VGM模拟器负责模拟这些动作的物理效果。通过不断迭代，VLM规划器可以从VGM模拟器中学习到更符合物理规律的策略，而VGM模拟器也可以从VLM规划器中学习到更有效的动作序列，从而提高整体性能。

技术框架：RoboEvolve框架包含两个主要阶段：白天探索和夜间巩固。在白天探索阶段，系统利用VLM规划器生成动作序列，并在VGM模拟器中执行。系统使用多粒度奖励函数来评估动作序列的质量，并根据奖励信号更新VLM规划器的策略。在夜间巩固阶段，系统挖掘“险胜”失败的案例，即那些接近成功的动作序列，并利用这些案例来稳定策略优化，防止灾难性遗忘。系统还采用自主渐进式课程学习策略，从简单的原子动作逐渐扩展到复杂的任务。

关键创新：RoboEvolve的关键创新在于其共进化机制，它将VLM规划器和VGM模拟器紧密耦合在一起，通过相互学习和反馈，克服了数据稀缺和模型偏差的问题。此外，RoboEvolve还引入了认知启发的双阶段机制（白天探索和夜间巩固）和自主渐进式课程学习策略，进一步提高了系统的性能和鲁棒性。

关键设计：RoboEvolve使用语义控制的多粒度奖励函数来评估动作序列的质量。该奖励函数考虑了多个粒度的信息，包括目标状态、中间状态和动作序列的长度。系统还使用了一种基于Transformer的网络结构来实现VLM规划器和VGM模拟器。在训练过程中，系统使用了一种特殊的损失函数来鼓励VLM规划器生成更符合物理规律的动作序列，并防止VGM模拟器产生物理上不合理的幻觉。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RoboEvolve在多个机器人操作任务上取得了显著的性能提升。实验结果表明，RoboEvolve可以将基础规划器的性能提升30个绝对点，并将模拟器的成功率平均提高48%。此外，RoboEvolve还表现出极高的数据效率，仅用500个未标记的种子就超过了完全监督的基线，数据需求减少了50倍。RoboEvolve还展示了强大的持续学习能力，没有出现灾难性遗忘。

🎯 应用场景

RoboEvolve具有广泛的应用前景，例如在智能制造、家庭服务、医疗康复等领域，可以用于训练机器人完成各种复杂的操作任务。该研究的实际价值在于降低了机器人操作任务对数据的依赖，提高了机器人的自主学习能力和适应性。未来，RoboEvolve可以与其他技术相结合，例如强化学习、模仿学习等，进一步提高机器人操作的性能和鲁棒性。

📄 摘要（原文）

The scalability of robotic manipulation is fundamentally bottlenecked by the scarcity of task-aligned physical interaction data. While vision-language models (VLMs) and video generation models (VGMs) hold promise for autonomous data synthesis, they suffer from semantic-spatial misalignment and physical hallucinations, respectively. To bridge this gap, we introduce RoboEvolve, a novel framework that couples a VLM planner and a VGM simulator into a mutually reinforcing co-evolutionary loop. Operating purely on unlabeled seed images, RoboEvolve leverages a cognitive-inspired dual-phase mechanism: (i) daytime exploration fosters physically grounded behavioral discovery through a semantic-controlled multi-granular reward, and (ii) nighttime consolidation mines "near-miss" failures to stabilize policy optimization. Guided by an autonomous progressive curriculum, the system naturally scales from simple atomic actions to complex tasks. Extensive experiments demonstrate that RoboEvolve (I) achieves superior effectiveness, elevating base planners by 30 absolute points and amplifying simulator success by 48% on average; (II) exhibits extreme data efficiency, surpassing fully supervised baselines with merely 500 unlabeled seeds--a 50x reduction; and (III) demonstrates robust continual learning without catastrophic forgetting.