RoboCousin: Build Your Own Simulation Playground for Robust Bimanual Robotic Manipulation
作者: Jingxuan Zhu, Jingyi Li, LiangLiang Chen, Zhiyuan Jing, Jidong Zhang, Hongming Li
分类: cs.RO, cs.AI
发布日期: 2026-09-08
💡 一句话要点
提出RoboCousin以解决双手机器人操作数据收集难题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 双手操作 仿真平台 数据生成 机器人学习 场景构建 自动化注释
📋 核心要点
- 现有的双手操作策略依赖于昂贵且难以扩展的物理机器人演示，限制了数据的多样性和规模。
- RoboCousin通过将用户观察转化为可重用的仿真资产和轨迹，提供了一种高效的数据生成解决方案。
- 实验结果显示，RoboCousin生成的交互注释与人工注释相当，且在不同场景间的迁移能力显著提升。
📝 摘要（中文）
双手操作策略需要大量多样的训练数据，但在物理机器人上收集演示既昂贵又难以扩展。虽然仿真可以高效生成数据，但现有流程通常局限于封闭的资产库和预定义场景。RoboCousin是一个可扩展的基于仿真的数据生成平台，能够将用户提供的观察转化为可重用的资产、场景和专家轨迹。该平台构建在RoboTwin 2.0之上，能够将物体图像转换为仿真准备好的资产，并自动生成抓取接触候选。RoboCousin还构建了数字表亲，能够在保持任务相关特性和空间关系的同时，变化兼容物体、背景和布局。我们发布了RoboCousin-OBD，包含3000多个注释物体实例和50个背景环境，并生成超过100万个专家轨迹。仿真和真实机器人实验表明，自动生成的交互注释与策划注释相当，生成的资产提供有效的仿真到真实监督。
🔬 方法详解
问题定义：论文旨在解决双手机器人操作中数据收集的高成本和低效率问题。现有方法在物理环境中收集演示困难，且难以扩展到多样化场景。
核心思路：RoboCousin通过将用户提供的观察转化为可重用的仿真资产，简化了数据生成过程，允许用户快速构建新的场景和任务。
技术框架：RoboCousin的整体架构包括资产生成模块、场景构建模块和轨迹生成模块。资产生成模块将物体图像转换为仿真资产，场景构建模块支持多种场景布局，轨迹生成模块则生成专家操作轨迹。
关键创新：RoboCousin的主要创新在于其自动化的资产生成和场景构建能力，能够根据用户输入快速生成多样化的仿真环境，这与传统的手动构建方法有本质区别。
关键设计：在资产生成过程中，RoboCousin使用了视觉几何和碰撞几何的自动生成技术，并结合语义和物理元数据，确保生成的资产在仿真中具有良好的交互性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，RoboCousin生成的交互注释与人工注释相当，且在50个任务中生成了超过100万个专家轨迹。通过使用RoboCousin，机器人在不同场景间的迁移能力显著提升，验证了其有效性和实用性。
🎯 应用场景
RoboCousin的研究成果可广泛应用于机器人学习、仿真训练和人机交互等领域。通过提供高效的数据生成平台，研究者和工程师能够快速构建多样化的训练环境，推动双手机器人操作技术的发展，提升机器人在复杂环境中的适应能力。
📄 摘要（原文）
Bimanual manipulation policies require large and diverse training datasets, yet collecting demonstrations on physical robots is expensive and difficult to scale. Simulation can generate data efficiently, but existing pipelines typically operate within closed asset libraries and predefined scenes: adding a newly observed object or environment still requires substantial effort to reconstruct geometry, specify physical and semantic properties, annotate interactions, and integrate the result into executable tasks. We present RoboCousin, an extensible simulation-based data-generation platform that turns user-provided observations into reusable assets, scenes, and expert trajectories for bimanual manipulation. Built on RoboTwin~2.0, RoboCousin converts object images into simulation-ready assets with visual and collision geometry, semantic and physical metadata, and automatically generated grasp-contact candidates. It further constructs digital cousins that vary compatible objects, backgrounds, layouts, and language instructions while preserving task-relevant affordances and spatial relations. The same asset system supports tabletop and room-level scene construction, with collision-aware base control for interaction beyond a fixed workspace. We release RoboCousin-OBD, containing more than 3,000 annotated object instances and 50 background environments, and use RoboCousin to generate over one million expert trajectories across 50 tasks. Simulation and real-robot experiments show that the automatically generated interaction annotations are comparable to curated annotations, generated assets provide effective sim-to-real supervision, and tabletop cousins can improve transfer beyond training on a single reconstructed scene. RoboCousin therefore provides a practical path for expanding both the scale and coverage of synthetic bimanual manipulation data.