AutoRSR: Automated Real-to-Sim-to-Real Data Generation for Scalable Robot Learning

📄 arXiv: 2610.20336v1 📥 PDF

作者: Jiawei Zhang, Chang Liu, Litao Deng, Tao Zhang, Qin Jin

分类: cs.RO

发布日期: 2026-10-14

💡 一句话要点

提出AutoRSR框架以解决机器人学习数据生成的高成本问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 机器人学习 数据生成 自动化 模拟环境 操作轨迹 多视角重建 领域随机化

📋 核心要点

  1. 现有方法在收集真实操作数据时面临高昂的人力和时间成本，限制了机器人学习的规模化。
  2. AutoRSR框架通过自动化处理真实工作空间的重建和数据生成，显著降低了手动干预的需求。
  3. 实验结果表明，使用AutoRSR生成的数据在真实任务中的成功率与传统方法相当，但人力成本降低了一个数量级。

📝 摘要（中文）

随着机器人学习的规模化需求，获取大规模多样化的操作数据集变得至关重要，但现实世界中的演示收集仍然需要大量的人力和时间。虽然模拟提供了可扩展的替代方案，但将真实工作空间转换为适合机器人学习的环境仍需大量手动工作。本文提出了AutoRSR，一个高度自动化的真实到模拟再到真实的数据生成框架，能够将扫描的真实工作空间转换为可重用的模拟资产和可扩展的操作数据。AutoRSR通过多视角观察、机器人状态和开放词汇语义查询，重建工作空间，提取单个对象资产，并自动将重建场景注册到机器人基准框架。实验结果表明，基于1K自动生成的操作轨迹，训练出的策略在三个真实操作任务中的成功率达到73.3%至86.7%，显著减少了数据生成所需的人力时间。

🔬 方法详解

问题定义：本文旨在解决在机器人学习中获取大规模多样化操作数据的高成本问题。现有方法需要大量的手动工作来进行对象提取、资产处理和场景校准，效率低下。

核心思路：AutoRSR框架通过自动化的方式将真实工作空间转换为可用于机器人学习的模拟资产，减少了对人工标注和校准的依赖。该框架利用多视角观察和语义查询来实现工作空间的重建和对象提取。

技术框架：AutoRSR的整体架构包括多个模块：首先，通过多视角观察重建工作空间；其次，提取并注册对象资产；最后，生成可执行的操作轨迹。整个流程在扫描和查询后无需人工干预。

关键创新：AutoRSR的主要创新在于其高度自动化的工作流程，能够在不需要人工标注和校准的情况下，快速生成可用于机器人学习的模拟数据。这与传统方法的手动处理方式形成了鲜明对比。

关键设计：在技术细节上，AutoRSR采用了多视角重建算法和语义查询机制，确保了重建场景的准确性和可用性。此外，轨迹生成采用了插值和领域随机化技术，以增强生成数据的多样性和可执行性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，基于AutoRSR生成的1K操作轨迹在三个真实操作任务中的成功率达到73.3%至86.7%，与传统方法相比，成功率相当，但人力成本降低了一个数量级，显示出该方法的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括工业机器人、服务机器人以及自主移动设备等。通过提供高效的数据生成方法，AutoRSR可以加速机器人学习的训练过程，提高机器人在复杂环境中的操作能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Scaling embodied robot learning requires large and diverse manipulation datasets, but collecting real-world demonstrations remains expensive in human effort and robot time. Simulation provides a scalable alternative, yet converting a real workspace into a robot-learning-ready environment still requires substantial manual effort for object extraction, asset processing, coordinate calibration, and trajectory specification. We present AutoRSR, a highly automated real-to-sim-to real framework that converts scanned real-world workspaces into reusable embodied simulation assets and scalable manipulation data. Given multi-view observations, robot states, and open-vocabulary semantic queries, AutoRSR reconstructs the workspace, extracts individual object assets, and automatically registers the reconstructed scene to the robot base frame at metric scale. Starting from a small number of reference motions, AutoRSR then generates executable manipulation trajectories and scales them through trajectory interpolation and domain randomization. After workspace scanning and semantic queries, the remaining pipeline requires no manual object annotation, scene-to-robot calibration, or robot teleoperation. Across three real-world manipulation tasks, policies trained on 1K automatically generated episodes per task achieve 73.3--86.7% real-world success rates, comparable to pi 0.5 trained from 150 human teleoperated demonstrations, while reducing the human time required for data generation by an order of magnitude. These results demonstrate that real-world observations can be converted into metrically aligned, executable, and scalable simulation data with substantially reduced human effort.