RoboCOIN: An Open-Sourced Bimanual Robotic Data COllection for INtegrated Manipulation
作者: Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Runtian Xu, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang, Guocai Yao
分类: cs.RO
发布日期: 2025-11-21 (更新: 2025-12-15)
备注: Fixed typos
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
RoboCOIN：开源多形态双臂机器人操作数据集，促进集成操作学习
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 双臂机器人 机器人操作 数据集 模仿学习 强化学习 多形态学习 机器人轨迹 运动规划
📋 核心要点
- 双臂操作对于机器人实现类人灵巧性至关重要，但由于机器人平台之间的硬件异构性，大规模且多样化的双臂机器人数据集仍然稀缺。
- RoboCOIN通过收集来自15个不同机器人平台的超过18万个演示数据，构建了一个综合性的多形态双臂操作数据集，并提出了分层能力金字塔进行多层次标注。
- 实验结果表明，RoboCOIN在多形态双臂学习中表现出可靠性和有效性，并在各种模型架构和机器人平台上实现了显著的性能提升。
📝 摘要（中文）
本文提出了RoboCOIN，一个综合性的多形态双臂操作数据集，包含来自15个不同机器人平台的超过18万个演示数据。该数据集覆盖了16个场景，包括住宅、商业和工作环境，包含421个任务，这些任务通过双臂协调模式和物体属性进行系统组织。论文的关键创新在于一个分层能力金字塔，它提供了多层次的标注，涵盖轨迹级别的概念、片段级别的子任务和帧级别的运动学信息。此外，论文还开发了CoRobot，一个全面的处理框架，它包含机器人轨迹标记语言（RTML）用于质量评估、自动标注生成和统一的多形态管理。大量的实验表明，RoboCOIN在多形态双臂学习中的可靠性和有效性，并在各种模型架构和机器人平台上实现了显著的性能提升。完整的数据集和框架已开源，可供进一步研究使用。
🔬 方法详解
问题定义：现有双臂机器人数据集规模小、多样性不足，且硬件异构性导致数据难以在不同机器人平台之间迁移和复用。这阻碍了双臂机器人操作的通用学习和泛化能力。
核心思路：通过大规模收集来自多种机器人平台的数据，并设计统一的数据格式和标注体系，从而构建一个通用的、可复用的双臂机器人操作数据集。分层能力金字塔的设计旨在提供多层次的语义信息，从而支持不同粒度的学习任务。
技术框架：RoboCOIN数据集的构建包括数据收集、数据标注和数据管理三个主要阶段。数据收集阶段使用15个不同的机器人平台在16个场景中执行421个任务。数据标注阶段使用分层能力金字塔对数据进行多层次标注。数据管理阶段使用CoRobot框架进行质量评估、自动标注生成和统一的多形态管理。
关键创新：主要创新点在于数据集的多样性和规模，以及分层能力金字塔的标注体系。与现有数据集相比，RoboCOIN覆盖了更多的机器人平台、场景和任务，并提供了更丰富的语义信息。CoRobot框架的引入也简化了数据处理和管理流程。
关键设计：分层能力金字塔包含轨迹级别概念（trajectory-level concepts）、片段级别子任务（segment-level subtasks）和帧级别运动学信息（frame-level kinematics）。Robot Trajectory Markup Language (RTML) 用于统一不同机器人平台的数据格式，并支持质量评估和自动标注生成。CoRobot框架提供了一套完整的工具，用于数据集的管理、分析和可视化。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用RoboCOIN数据集训练的模型在多形态双臂学习中取得了显著的性能提升。具体而言，在各种模型架构和机器人平台上，模型的成功率和效率均得到了提高。这些结果验证了RoboCOIN数据集的有效性和通用性，表明其可以作为双臂机器人学习的重要资源。
🎯 应用场景
RoboCOIN数据集可广泛应用于机器人操作、强化学习、模仿学习等领域。它可以用于训练通用的双臂机器人操作模型，提高机器人在不同环境和任务中的适应性和泛化能力。此外，该数据集还可以用于研究机器人运动规划、控制和感知等问题，促进机器人技术的进步。
📄 摘要（原文）
Bimanual manipulation is essential for achieving human-like dexterity in robots, but the large-scale and diverse bimanual robot datasets remain scarce due to hardware heterogeneity across robotic platforms. To address the challenge, we present RoboCOIN, a comprehensive multi-embodiment bimanual manipulation dataset with over 180,000 demonstrations collected from 15 distinct robotic platforms. The dataset covers 16 scenarios, including residential, commercial, and working environments, with 421 tasks systematically organized by bimanual coordination patterns and object properties. Our key innovation is a hierarchical capability pyramid that provides multi-level annotations, spanning trajectory-level concepts, segment-level subtasks, and frame-level kinematics. We further develop CoRobot, a comprehensive processing framework featuring Robot Trajectory Markup Language (RTML) for quality assessment, automated annotation generation, and unified multi-embodiment management. Extensive experiments demonstrate the reliability and effectiveness of RoboCOIN in multi-embodiment bimanual learning, with significant performance improvements across various model architectures and robotic platforms. The complete dataset and framework are open-sourced and publicly available for further research purposes. Project website: https://FlagOpen.github.io/RoboCOIN/.