REASSEMBLE: A Multimodal Dataset for Contact-rich Robotic Assembly and Disassembly

📄 arXiv: 2502.05086v2 📥 PDF

作者: Daniel Sliwowski, Shail Jadav, Sergej Stanovcic, Jedrzej Orbik, Johannes Heidersberger, Dongheui Lee

分类: cs.RO

发布日期: 2025-02-07 (更新: 2025-04-28)

备注: 17 pages, 15 figures, 1 table

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

REASSEMBLE：用于接触式机器人装配与拆卸的多模态数据集

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人操作 装配 拆卸 多模态数据集 接触式操作 模仿学习 工业自动化

📋 核心要点

  1. 现有数据集在机器人操作学习方面取得了进展，但主要集中于简单的物体重排任务，难以捕捉装配和拆卸的复杂物理动力学。
  2. REASSEMBLE数据集围绕NIST装配任务板构建，包含多模态传感器数据，旨在促进接触式操作、任务理解和动作分割等方面的研究。
  3. 该数据集包含大量成功演示，为学习复杂的装配和拆卸任务提供了丰富的训练数据，有望推动机器人操作在实际场景中的应用。

📝 摘要（中文）

本文提出了REASSEMBLE数据集，专门用于解决接触式机器人操作任务，如工业装配和拆卸。该数据集基于NIST Assembly Task Board 1基准，包含四个动作（拾取、插入、移除和放置），涉及17个对象。REASSEMBLE包含4551个演示，其中4035个成功，总时长781分钟。数据集具有多模态传感器数据，包括事件相机、力矩传感器、麦克风和多视角RGB相机。该数据集支持接触式操作学习、任务条件识别、动作分割和任务逆向学习等领域的研究，为复杂真实场景中的机器人操作提供宝贵资源。数据集已公开。

🔬 方法详解

问题定义：现有机器人操作数据集主要关注物体重排等简单任务，缺乏对接触丰富的装配和拆卸任务的覆盖。这些任务涉及复杂的物理交互和动力学，现有方法难以有效学习和泛化。因此，需要一个专门针对装配和拆卸任务的数据集，以促进相关算法的研究和开发。

核心思路：REASSEMBLE数据集的核心思路是提供一个包含多模态传感器数据的、大规模的装配和拆卸任务演示数据集。通过收集不同模态的数据，例如视觉、触觉和听觉信息，可以更全面地描述任务状态和交互过程，从而帮助机器人更好地理解和执行这些复杂任务。

技术框架：REASSEMBLE数据集的构建围绕NIST Assembly Task Board 1基准展开。数据集包含四个基本动作：拾取、插入、移除和放置，涉及17个不同的对象。数据采集系统包括多视角RGB相机、事件相机、力矩传感器和麦克风，用于记录任务执行过程中的视觉、触觉和听觉信息。数据集包含大量的成功演示和少量失败演示，以支持不同的学习算法。

关键创新：REASSEMBLE数据集的关键创新在于其专注于接触丰富的装配和拆卸任务，并提供了多模态传感器数据。与现有数据集相比，REASSEMBLE更贴近实际工业应用场景，能够更好地反映复杂物理交互的挑战。多模态数据的融合可以为机器人提供更全面的感知信息，从而提高其操作能力。

关键设计：数据集的构建过程中，作者精心设计了数据采集流程，以保证数据的质量和一致性。他们使用了高精度的传感器，并对数据进行了校准和同步。此外，作者还提供了详细的数据标注，包括对象姿态、动作类型和任务状态等信息。这些设计使得REASSEMBLE数据集能够支持多种机器人学习算法，例如模仿学习、强化学习和监督学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

REASSEMBLE数据集包含4551个演示，其中4035个成功，总时长781分钟。数据集涵盖了多种传感器模态，包括RGB相机、事件相机、力矩传感器和麦克风。这些数据为研究人员提供了丰富的资源，可以用于训练各种机器人学习模型，例如用于动作分割、任务条件识别和任务逆向学习等。

🎯 应用场景

REASSEMBLE数据集可广泛应用于工业自动化、智能制造等领域。通过利用该数据集训练的机器人，可以实现自动化装配、拆卸、维修等任务，提高生产效率和降低人工成本。此外，该数据集还可以促进机器人操作、感知和控制等领域的研究，推动机器人技术的发展。

📄 摘要（原文）

Robotic manipulation remains a core challenge in robotics, particularly for contact-rich tasks such as industrial assembly and disassembly. Existing datasets have significantly advanced learning in manipulation but are primarily focused on simpler tasks like object rearrangement, falling short of capturing the complexity and physical dynamics involved in assembly and disassembly. To bridge this gap, we present REASSEMBLE (Robotic assEmbly disASSEMBLy datasEt), a new dataset designed specifically for contact-rich manipulation tasks. Built around the NIST Assembly Task Board 1 benchmark, REASSEMBLE includes four actions (pick, insert, remove, and place) involving 17 objects. The dataset contains 4,551 demonstrations, of which 4,035 were successful, spanning a total of 781 minutes. Our dataset features multi-modal sensor data, including event cameras, force-torque sensors, microphones, and multi-view RGB cameras. This diverse dataset supports research in areas such as learning contact-rich manipulation, task condition identification, action segmentation, and task inversion learning. The REASSEMBLE will be a valuable resource for advancing robotic manipulation in complex, real-world scenarios. The dataset is publicly available on our project website: https://tuwien-asl.github.io/REASSEMBLE_page/.