RoboGene: Boosting VLA Pre-training via Diversity-Driven Agentic Framework for Real-World Task Generation

📄 arXiv: 2602.16444v1 📥 PDF

作者: Yixue Zhang, Kun Wu, Zhi Gao, Zhen Zhao, Pei Ren, Zhiyuan Xu, Fei Liao, Xinhua Wang, Shichao Fan, Di Wu, Qiuxuan Feng, Meng Li, Zhengping Che, Chang Liu, Jian Tang

分类: cs.RO, cs.AI, cs.LG

发布日期: 2026-02-18

💡 一句话要点

RoboGene：通过多样性驱动的Agentic框架提升VLA预训练，用于真实世界任务生成

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人操作 视觉语言动作 VLA预训练 任务生成 Agentic框架

📋 核心要点

  1. 现有机器人操作数据匮乏且收集成本高昂，手动任务设计存在偏见和扩展性问题，通用模型易产生物理上不可行的指令。
  2. RoboGene采用agentic框架，通过多样性驱动采样、自我反思机制和人工参与优化，自动生成多样且物理可行的机器人操作任务。
  3. 实验表明，RoboGene显著优于现有基础模型，且使用RoboGene预训练的VLA模型在真实世界任务中表现出更高的成功率和泛化能力。

📝 摘要（中文）

通用机器人操作面临的挑战是缺乏多样化的真实世界交互数据。与视觉或语言领域从网络收集数据不同，机器人数据收集是一个主动过程，物理成本高昂。因此，自动任务生成以最大化数据价值仍然是一个关键但未被充分探索的挑战。现有的手动方法不可扩展，并且偏向于常见任务，而现成的基础模型通常会产生物理上不可行的指令。为了解决这个问题，我们引入了RoboGene，一个agentic框架，旨在自动生成多样化的、物理上合理的单臂、双臂和移动机器人操作任务。RoboGene集成了三个核心组件：用于广泛任务覆盖的多样性驱动采样、用于强制执行物理约束的自我反思机制，以及用于持续改进的人工参与优化。我们进行了广泛的定量分析和大规模的真实世界实验，收集了18k轨迹的数据集，并引入了新的指标来评估任务质量、可行性和多样性。结果表明，RoboGene显著优于最先进的基础模型（例如，GPT-4o、Gemini 2.5 Pro）。此外，真实世界实验表明，使用RoboGene预训练的VLA模型实现了更高的成功率和更好的泛化能力，突显了高质量任务生成的重要性。

🔬 方法详解

问题定义：论文旨在解决机器人操作领域中，由于缺乏多样化、高质量的真实世界数据，导致视觉语言动作（VLA）模型难以训练和泛化的问题。现有方法，如手动设计任务，成本高昂且易产生偏见；而直接使用大型语言模型生成任务，则可能产生物理上不可行的指令。

核心思路：RoboGene的核心思路是构建一个自动化的agentic框架，该框架能够自主生成多样化的、物理上可行的机器人操作任务。通过多样性驱动的采样策略，保证任务覆盖范围的广泛性；通过自我反思机制，确保生成的任务满足物理约束；并通过人机协作，不断优化任务生成过程。

技术框架：RoboGene框架包含三个主要模块：1) 多样性驱动采样：用于生成候选任务集合，目标是最大化任务的多样性，覆盖尽可能多的操作场景。2) 自我反思机制：对候选任务进行物理可行性验证，过滤掉不符合物理规律的任务，并对任务进行修正，使其更加合理。3) 人机协作优化：人工专家对生成的任务进行评估和改进，并将改进后的任务反馈给系统，用于进一步优化任务生成策略。

关键创新：RoboGene的关键创新在于其agentic框架的设计，该框架能够自主地生成高质量的机器人操作任务，从而克服了传统方法的局限性。与现有方法相比，RoboGene能够生成更加多样化、物理上可行的任务，并且能够通过人机协作不断提升任务质量。

关键设计：在多样性驱动采样中，可能使用了基于覆盖率或信息熵的采样策略，以保证任务的多样性。自我反思机制可能涉及到物理引擎的模拟，用于验证任务的物理可行性。人机协作优化可能采用了主动学习或强化学习的方法，以根据人工反馈不断优化任务生成策略。具体的损失函数和网络结构等细节，论文中可能有所描述，但此处未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RoboGene在真实世界实验中表现出显著的优势，收集了包含18k轨迹的数据集，并引入了新的指标来评估任务质量、可行性和多样性。实验结果表明，RoboGene显著优于最先进的基础模型（例如，GPT-4o、Gemini 2.5 Pro）。使用RoboGene预训练的VLA模型在真实世界任务中实现了更高的成功率和更好的泛化能力。

🎯 应用场景

RoboGene的研究成果可广泛应用于机器人操作、自动化生产、智能家居等领域。通过自动生成高质量的训练数据，可以显著降低机器人学习的成本，提高机器人的智能化水平和泛化能力。该研究还有助于推动机器人技术在复杂环境下的应用，例如灾难救援、医疗手术等。

📄 摘要（原文）

The pursuit of general-purpose robotic manipulation is hindered by the scarcity of diverse, real-world interaction data. Unlike data collection from web in vision or language, robotic data collection is an active process incurring prohibitive physical costs. Consequently, automated task curation to maximize data value remains a critical yet under-explored challenge. Existing manual methods are unscalable and biased toward common tasks, while off-the-shelf foundation models often hallucinate physically infeasible instructions. To address this, we introduce RoboGene, an agentic framework designed to automate the generation of diverse, physically plausible manipulation tasks across single-arm, dual-arm, and mobile robots. RoboGene integrates three core components: diversity-driven sampling for broad task coverage, self-reflection mechanisms to enforce physical constraints, and human-in-the-loop refinement for continuous improvement. We conduct extensive quantitative analysis and large-scale real-world experiments, collecting datasets of 18k trajectories and introducing novel metrics to assess task quality, feasibility, and diversity. Results demonstrate that RoboGene significantly outperforms state-of-the-art foundation models (e.g., GPT-4o, Gemini 2.5 Pro). Furthermore, real-world experiments show that VLA models pre-trained with RoboGene achieve higher success rates and superior generalization, underscoring the importance of high-quality task generation. Our project is available at https://robogene-boost-vla.github.io.