Real2Edit2Real: Generating Robotic Demonstrations via a 3D Control Interface
作者: Yujie Zhao, Hongwei Fan, Di Chen, Shengcong Chen, Liliang Chen, Xiaoqi Li, Guanghui Ren, Hao Dong
分类: cs.RO, cs.CV, cs.GR
发布日期: 2025-12-22
💡 一句话要点
Real2Edit2Real：通过3D控制界面生成机器人操作演示，提升数据效率。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 机器人学习 数据增强 3D重建 视频生成 操作任务 空间泛化 深度学习
📋 核心要点
- 机器人学习面临数据收集成本高昂的挑战，尤其是在操作任务中，缺乏足够多样性的演示数据限制了策略的鲁棒性。
- Real2Edit2Real框架通过3D编辑和视频生成，从少量真实演示中合成大量增强数据，从而降低数据收集成本。
- 实验表明，使用该框架生成的数据训练的策略，在数据效率上比使用真实数据训练的策略提升了10-50倍，且性能相当甚至更优。
📝 摘要（中文）
为了减少机器人学习中重复的数据收集，特别是操作任务中的空间泛化，本文提出了Real2Edit2Real框架，该框架通过3D可编辑性与2D视觉数据桥接，利用3D控制界面生成新的演示。该方法首先使用度量尺度的3D重建模型从多视角RGB观测中重建场景几何。基于重建的几何，对点云进行深度可靠的3D编辑，以生成新的操作轨迹，同时对机器人姿态进行几何校正，以恢复物理上一致的深度，这为合成新的演示提供了可靠的条件。最后，提出了一个以深度为主要控制信号，结合动作、边缘和射线图的多条件视频生成模型，以合成空间增强的多视角操作视频。在四个真实操作任务上的实验表明，仅用1-5个源演示生成的数据训练的策略可以匹配甚至优于用50个真实演示训练的策略，数据效率提高了10-50倍。此外，高度和纹理编辑的实验结果证明了该框架的灵活性和可扩展性，表明其有潜力作为统一的数据生成框架。
🔬 方法详解
问题定义：机器人操作任务中，策略的泛化能力受限于训练数据的规模和多样性。获取足够多的真实世界机器人操作演示数据成本高昂，特别是对于需要空间泛化的任务。现有方法难以高效地生成多样化的训练数据，从而限制了策略的鲁棒性。
核心思路：利用3D场景重建和编辑技术，从少量真实演示中生成新的、多样化的操作轨迹。通过在3D空间中编辑场景几何和机器人姿态，并结合视频生成模型，合成逼真的多视角操作视频，从而实现数据增强。这种方法的核心在于利用3D几何信息作为桥梁，连接真实数据和合成数据，保证合成数据的物理一致性。
技术框架：Real2Edit2Real框架包含三个主要阶段：1) 3D场景重建：使用多视角RGB图像重建场景的3D几何结构，得到度量尺度的点云模型。2) 3D编辑和姿态校正：在点云模型上进行深度可靠的3D编辑，生成新的操作轨迹，并对机器人姿态进行几何校正，以保证物理一致性。3) 多条件视频生成：使用深度图、动作、边缘图和射线图作为条件，生成新的多视角操作视频。
关键创新：该方法的核心创新在于将3D编辑与2D视觉数据相结合，实现高效的数据增强。与传统的基于图像的增强方法相比，该方法能够更好地控制场景几何和机器人姿态，保证合成数据的物理合理性。此外，该方法提出的多条件视频生成模型能够生成逼真的多视角操作视频，进一步提升了数据增强的效果。
关键设计：在3D编辑阶段，采用了深度可靠的编辑策略，保证编辑后的点云模型的深度信息与真实场景一致。在姿态校正阶段，通过几何约束优化机器人姿态，保证其与编辑后的场景几何相符。在视频生成阶段，使用了深度图作为主要的控制信号，并结合动作、边缘和射线图等辅助信息，以生成高质量的合成视频。具体的网络结构和损失函数细节未在摘要中详细描述，属于未知信息。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用Real2Edit2Real框架生成的数据训练的机器人策略，在四个真实操作任务上，仅使用1-5个真实演示，即可达到甚至超过使用50个真实演示训练的策略的性能，数据效率提升了10-50倍。此外，在高度和纹理编辑任务上的实验也验证了该框架的灵活性和可扩展性。
🎯 应用场景
该研究成果可应用于各种机器人操作任务的数据增强，例如装配、抓取、放置等。通过少量真实演示即可生成大量训练数据，降低了机器人学习的成本，加速了机器人技术的落地。该框架还具有良好的可扩展性，可以应用于不同类型的操作任务和不同的机器人平台，具有广泛的应用前景。
📄 摘要（原文）
Recent progress in robot learning has been driven by large-scale datasets and powerful visuomotor policy architectures, yet policy robustness remains limited by the substantial cost of collecting diverse demonstrations, particularly for spatial generalization in manipulation tasks. To reduce repetitive data collection, we present Real2Edit2Real, a framework that generates new demonstrations by bridging 3D editability with 2D visual data through a 3D control interface. Our approach first reconstructs scene geometry from multi-view RGB observations with a metric-scale 3D reconstruction model. Based on the reconstructed geometry, we perform depth-reliable 3D editing on point clouds to generate new manipulation trajectories while geometrically correcting the robot poses to recover physically consistent depth, which serves as a reliable condition for synthesizing new demonstrations. Finally, we propose a multi-conditional video generation model guided by depth as the primary control signal, together with action, edge, and ray maps, to synthesize spatially augmented multi-view manipulation videos. Experiments on four real-world manipulation tasks demonstrate that policies trained on data generated from only 1-5 source demonstrations can match or outperform those trained on 50 real-world demonstrations, improving data efficiency by up to 10-50x. Moreover, experimental results on height and texture editing demonstrate the framework's flexibility and extensibility, indicating its potential to serve as a unified data generation framework.