ARSTAG: An Agentic Real2Sim2Real System for Task-Specific Robot Data Generation

📄 arXiv: 2609.24563v1 📥 PDF

作者: Bowei Li, Yuner Zhang, Changliu Liu

分类: cs.RO

发布日期: 2026-09-21

备注: 12 pages, 15 figures and tables. Project webpage: https://boweili666.github.io/ARSTAG/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出ARSTAG以解决机器人任务特定数据生成问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器人学习 数据生成 仿真技术 视觉运动策略 任务适应性 自然语言处理 自主系统

📋 核心要点

  1. 现有方法在适应新操作任务时需要大量手动工程和遥控数据收集，效率低下且耗时。
  2. ARSTAG通过将RGB图像和自然语言指令直接转化为机器人策略学习数据，简化了数据生成过程。
  3. 在七个操作任务中，ARSTAG生成的演示使得策略在现实世界中的成功率达到74.6%，显著提升了任务适应性。

📝 摘要（中文）

适应视觉运动策略到新的操作任务通常需要大量的手动工程或遥控数据收集。虽然仿真可以提供特定任务的数据，但构建场景、设计专家行为和配置数据生成仍需大量的任务特定努力。本文提出了ARSTAG，一个自主的Real2Sim2Real系统，能够直接将单个RGB图像和自然语言指令转化为机器人策略学习数据。通过一系列语言代理构建任务特定的仿真场景，生成机器人可行的演示，并通过任务一致的随机化扩展训练分布，同时协调代理管理跨阶段的反馈和恢复。在七个涵盖抓取、放置和堆叠的操作任务中，ARSTAG生成的演示使三种视觉运动策略架构在双臂机器人上实现了仿真到现实的转移，其中pi0.5的平均现实世界成功率达到74.6%。消融实验表明，任务一致的随机化显著提高了鲁棒性，且策略性能随着生成数据集规模的增加而提升。

🔬 方法详解

问题定义：本文旨在解决在机器人操作任务中，现有方法需要大量手动工程和遥控数据收集的问题，导致效率低下和高成本。

核心思路：ARSTAG通过将单个RGB图像和自然语言指令直接转化为机器人策略学习数据，利用语言代理构建仿真场景并生成演示，减少了人工干预。

技术框架：ARSTAG的整体架构包括多个模块：语言代理用于构建任务特定的仿真场景，生成机器人可行的演示，协调代理管理跨阶段反馈和恢复，并通过任务一致的随机化扩展训练数据分布。

关键创新：ARSTAG的主要创新在于其自主生成数据的能力，显著减少了对人工设计和手动干预的依赖，与传统方法相比，提升了数据生成的效率和灵活性。

关键设计：在设计中，ARSTAG采用了任务一致的随机化策略，以提高生成数据的多样性和鲁棒性，同时通过协调代理优化了不同阶段之间的反馈机制。具体的参数设置和损失函数设计尚未详细披露。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ARSTAG在七个操作任务中实现了74.6%的平均现实世界成功率，显著优于传统方法。消融实验表明，任务一致的随机化显著提高了系统的鲁棒性，且随着生成数据集规模的增加，策略性能持续提升。

🎯 应用场景

ARSTAG的研究成果在机器人领域具有广泛的应用潜力，尤其是在需要快速适应新任务的场景中，如工业自动化、服务机器人和家庭助理等。通过减少人工干预，该系统能够加速机器人学习和部署的过程，提升整体效率和灵活性。

📄 摘要（原文）

Adapting visuomotor policies to new manipulation tasks often requires substantial manual engineering or teleoperated data collection. Simulation can provide task-specific data at scale, but constructing the scene, designing expert behavior, and configuring data generation still require significant per-task effort. We present ARSTAG, an agentic Real2Sim2Real system that turns a single RGB image and a natural-language instruction directly into robot policy-learning data. A hierarchy of language agents constructs a task-scoped simulation scene, generates robot-feasible demonstrations, and expands the training distribution through task-consistent randomization, while a coordinator agent manages cross-stage feedback and recovery. Across seven manipulation tasks spanning grasping, placement, and stacking, the ARSTAG-generated demonstrations enable sim-to-real transfer of three visuomotor policy architectures to a dual-arm robot, with pi0.5 achieving an average real-world success rate of 74.6%. Ablations show that task-consistent randomization substantially improves robustness, and policy performance increases with generated dataset size. Project webpage: https://boweili666.github.io/ARSTAG/.