Agentic RSR: Real-to-Sim-to-Real through Scene Reconstruction and Execution-Grounded Robot Policies

📄 arXiv: 2610.10479v1 📥 PDF

作者: Yihan Li, Yating Feng, Shengjiu Sun, Jianing Chen, Hao Ren, Bowen Yang, Weisheng Xu, Qiwei Wu, Hui Cheng, Renjing Xu

分类: cs.RO, cs.CV

发布日期: 2026-10-07

备注: 25 pages including appendices, 5 figures

💡 一句话要点

提出Agentic RSR框架以解决真实机器人任务执行中的场景重建与策略开发问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 场景重建 策略开发 真实机器人 任务执行 视觉反馈 机器人学习 自动化

📋 核心要点

  1. 现有方法在真实机器人任务执行中，场景重建与策略开发往往分开，导致任务相关交互的保留不足。
  2. 提出Agentic RSR框架，通过视频、任务描述和机器人模型实现场景重建与策略开发的联动，提升任务执行的有效性。
  3. 在18个重建场景中，真实机器人实验的任务成功率达到80%，显示出模拟性能在硬件上的显著保留。

📝 摘要（中文）

在真实机器人工作空间的模拟中，必须保留与任务相关的交互，而在此过程中，场景重建和策略开发往往被分开处理。本文提出了Agentic Real-to-Sim-to-Real（Agentic RSR）框架，旨在通过相同的操作任务将场景重建、策略开发和真实机器人执行联系起来。该框架利用工作空间视频、任务描述和已知机器人模型，逐步恢复度量尺度，并通过视觉反馈迭代优化场景，检查任务相关的交互。随后，编码代理开发可执行策略，能够在一次调用中交错多个观察和动作，并利用执行反馈进行调整。实验结果表明，该方法在18个重建场景中，真实机器人实验的任务成功率达到了模拟任务成功率的80%。

🔬 方法详解

问题定义：本文旨在解决真实机器人任务执行中场景重建与策略开发分离的问题，现有方法在任务相关交互的保留上存在不足。

核心思路：Agentic RSR框架通过将场景重建、策略开发与真实机器人执行结合，利用视觉反馈和任务描述来优化操作策略，确保任务相关性。

技术框架：框架包括三个主要模块：场景重建模块，通过视频和任务描述恢复场景；策略开发模块，利用编码代理生成可执行策略；执行模块，将策略应用于真实机器人并进行反馈调整。

关键创新：该框架的创新在于将场景重建与策略开发紧密结合，允许在一次调用中交错多个观察和动作，显著提升了任务执行的灵活性与有效性。

关键设计：在策略开发中，采用了特定的损失函数和网络结构，以确保策略能够在多种观察条件下有效执行，并通过执行反馈不断优化策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在18个重建场景中，Agentic RSR框架的平均四视图深度MAE为0.1057米，Lab $ΔE_{76}$为11.04，灰度SSIM为0.6990。真实机器人实验的任务成功率达到80%，表明该框架在硬件上有效保留了模拟性能。

🎯 应用场景

该研究的潜在应用领域包括智能制造、服务机器人和自动化物流等，能够有效提升机器人在复杂环境中的自主操作能力。未来，该框架可能推动机器人技术在更多实际场景中的应用，提升工作效率和安全性。

📄 摘要（原文）

A simulation of a real robot workspace must preserve task-relevant interactions, while policies developed in it must operate on observations available to the real robot. Yet scene reconstruction and policy development are often treated separately. We present Agentic Real-to-Sim-to-Real (Agentic RSR), a framework that links scene reconstruction, policy development, and real-robot execution through the same manipulation task. Given a workspace video, a task description, and a known robot model, an agent recovers metric scale, iteratively refines the scene using visual feedback, and checks task-relevant interactions in MuJoCo. A coding agent then develops an executable policy, progressing from privileged object poses to visual observations and randomized simulation. The policy can interleave multiple observations and actions within one invocation, while the agent uses execution feedback to continue, retry, or revise its approach. A shared task-level interface carries the policy and accumulated experience to the real robot, where fresh observations and safety checks guide execution. Across 18 reconstructed scenes involving two robots, the mean four-view Depth MAE against reference depth estimates is 0.1057 m, the mean Lab $ΔE_{76}$ is 11.04, and the mean grayscale SSIM is 0.6990. In real-robot experiments, the aggregate task success rate reaches 80% of the simulation task success rate, indicating substantial retention of simulated performance on hardware. Code and reconstructed scene data will be made publicly available.