RoboMIND 2.0: A Multimodal, Bimanual Mobile Manipulation Dataset for Generalizable Embodied Intelligence

📄 arXiv: 2512.24653v1 📥 PDF

作者: Chengkai Hou, Kun Wu, Jiaming Liu, Zhengping Che, Di Wu, Fei Liao, Guangrun Li, Jingyang He, Qiuxuan Feng, Zhao Jin, Chenyang Gu, Zhuoyang Liu, Nuowei Han, Xiangju Mi, Yaoxu Lv, Yankai Fu, Gaole Dai, Langzhe Gu, Tao Li, Yuheng Zhang, Yixue Zhang, Xinhua Wang, Shichao Fan, Meng Li, Zhen Zhao, Ning Liu, Zhiyuan Xu, Pei Ren, Junjie Ji, Haonan Liu, Kuan Cheng, Shanghang Zhang, Jian Tang

分类: cs.RO

发布日期: 2025-12-31

💡 一句话要点

RoboMIND 2.0：用于通用具身智能的多模态双臂移动操作数据集

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人操作 具身智能 多模态学习 数据集 模仿学习

📋 核心要点

  1. 现有模仿学习方法受限于大规模、多样化的真实世界演示数据匮乏，泛化能力不足。
  2. RoboMIND 2.0通过构建大规模多模态数据集，并结合数字孪生，促进具身智能的sim-to-real迁移。
  3. 提出的MIND-2系统，利用分层双系统框架，将自然语言指令转化为机器人可执行的动作。

📝 摘要（中文）

本文提出了RoboMIND 2.0，一个全面的真实世界数据集，包含超过31万条双臂操作轨迹，涵盖六种不同的机器人形态和739个复杂任务。为了支持接触丰富的和空间扩展的任务研究，该数据集还包含了1.2万个触觉增强的片段和2万个移动操作轨迹。为了补充物理数据，作者构建了真实世界环境的高保真数字孪生，并发布了额外的2万条轨迹的模拟数据集，以促进鲁棒的sim-to-real迁移。为了充分利用RoboMIND 2.0的潜力，作者提出了MIND-2系统，一个通过离线强化学习优化的分层双系统框架。MIND-2集成了高层语义规划器(MIND-2-VLM)，将抽象的自然语言指令分解为具体的子目标，以及一个低层视觉-语言-动作执行器(MIND-2-VLA)，生成精确的、感知自身状态的运动动作。

🔬 方法详解

问题定义：现有机器人操作方法难以在非结构化环境中泛化到长时程双臂任务和移动操作，主要原因是缺乏大规模、多样化的真实世界演示数据。现有方法在接触丰富的任务和空间扩展的任务中表现不佳。

核心思路：论文的核心思路是构建一个大规模、多模态的机器人操作数据集，包含真实世界和模拟环境的数据，并设计一个分层控制框架，将高级语义指令转化为低级运动动作。通过离线强化学习优化控制策略，提高机器人的泛化能力和鲁棒性。

技术框架：MIND-2系统采用分层双系统框架，包含两个主要模块：MIND-2-VLM（高层语义规划器）和MIND-2-VLA（低层视觉-语言-动作执行器）。MIND-2-VLM负责将自然语言指令分解为具体的子目标，MIND-2-VLA负责根据视觉信息、语言指令和自身状态生成精确的运动动作。整个系统通过离线强化学习进行优化。

关键创新：该论文的关键创新在于构建了大规模、多模态的RoboMIND 2.0数据集，该数据集包含真实世界和模拟环境的数据，并涵盖多种机器人形态和复杂任务。此外，提出的MIND-2系统采用分层双系统框架，能够有效地将高级语义指令转化为低级运动动作。

关键设计：MIND-2-VLM可能采用了Transformer等模型，用于理解自然语言指令并生成子目标序列。MIND-2-VLA可能采用了深度神经网络，将视觉信息、语言指令和自身状态作为输入，生成运动动作。离线强化学习可能采用了DDPG、SAC等算法，用于优化MIND-2-VLA的控制策略。具体参数设置、损失函数和网络结构等细节未知。

📊 实验亮点

RoboMIND 2.0数据集包含超过31万条双臂操作轨迹，涵盖六种不同的机器人形态和739个复杂任务。该数据集还包含了1.2万个触觉增强的片段和2万个移动操作轨迹。此外，作者还构建了真实世界环境的高保真数字孪生，并发布了额外的2万条轨迹的模拟数据集。MIND-2系统的具体性能数据未知，但论文强调其通过离线强化学习进行了优化。

🎯 应用场景

该研究成果可应用于各种机器人操作任务，例如家庭服务、工业自动化、医疗辅助等。通过利用RoboMIND 2.0数据集和MIND-2系统，可以提高机器人在复杂环境中的操作能力和泛化能力，从而实现更智能、更自主的机器人应用。未来，该研究可以进一步扩展到更多机器人形态和任务类型，并探索更有效的控制策略和学习算法。

📄 摘要（原文）

While data-driven imitation learning has revolutionized robotic manipulation, current approaches remain constrained by the scarcity of large-scale, diverse real-world demonstrations. Consequently, the ability of existing models to generalize across long-horizon bimanual tasks and mobile manipulation in unstructured environments remains limited. To bridge this gap, we present RoboMIND 2.0, a comprehensive real-world dataset comprising over 310K dual-arm manipulation trajectories collected across six distinct robot embodiments and 739 complex tasks. Crucially, to support research in contact-rich and spatially extended tasks, the dataset incorporates 12K tactile-enhanced episodes and 20K mobile manipulation trajectories. Complementing this physical data, we construct high-fidelity digital twins of our real-world environments, releasing an additional 20K-trajectory simulated dataset to facilitate robust sim-to-real transfer. To fully exploit the potential of RoboMIND 2.0, we propose MIND-2 system, a hierarchical dual-system frame-work optimized via offline reinforcement learning. MIND-2 integrates a high-level semantic planner (MIND-2-VLM) to decompose abstract natural language instructions into grounded subgoals, coupled with a low-level Vision-Language-Action executor (MIND-2-VLA), which generates precise, proprioception-aware motor actions.