Real2Gym: Building Gyms from Videos, Bringing Skills to Robots
作者: Kerui Ren, Yingxiang Xu, Kaiwen Song, Linning Xu, Bo Dai, Mulin Yu, Tao Lu
分类: cs.CV
发布日期: 2026-09-29
备注: Project page: https://real2gym.github.io/
💡 一句话要点
提出Real2Gym以解决从视频到机器人技能转化的挑战
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 机器人技能学习 仿真环境 视频到机器人 操作示范 经验学习
📋 核心要点
- 现有方法在将现实视频中的操作示范转化为可执行的机器人技能时面临环境对齐和物理交互的挑战。
- 论文提出Real2Gym框架，通过重建可编辑场景和生成任务条件变体，实现从视频到仿真再到物理机器人的技能转化。
- 实验结果显示，Real2Gym在仿真环境重建成功率上比基线提升16.7%，在真实机器人执行成功率上提升33.3%。
📝 摘要（中文）
现实世界的视频提供了丰富的操作示范，但将其转化为可重用的机器人技能需要视觉对齐的环境、可执行的物理交互以及从经验中学习的机制。我们介绍了Real2Gym，这是一种代理的Real2Sim2Real框架，能够将人类和机器人示范转化为交互式仿真环境，并将仿真中获得的技能应用于物理机器人。Real2Sim模块重建可编辑场景，确保对象和相机与输入对齐，通过本地物理执行验证示范或重定向的动作，并生成具有动作可行性检查的任务条件变体。在这些环境中，代理生成可执行的操作代码，观察其结果，并将成功尝试和失败提炼为可重用的任务流程、对象相对运动和恢复策略。通过共享的感知与控制接口，这些技能指导后续在仿真和真实机器人上的执行，动作根据当前观察进行调整，而无需更新基础模型权重。广泛的评估表明，Real2Gym在高保真仿真环境重建方面表现出色，成功率比GPT-6 Astra Direct Mode高出16.7%，同时在真实Franka机器人上四个任务的执行成功率超过其33.3%。
🔬 方法详解
问题定义：本论文旨在解决如何将现实世界视频中的操作示范有效转化为可重用的机器人技能的问题。现有方法在环境对齐、物理交互执行和经验学习方面存在不足，限制了机器人技能的应用。
核心思路：论文的核心思路是构建一个Real2Gym框架，通过将人类和机器人示范转化为交互式仿真环境，使得机器人能够在仿真中学习并将技能迁移到真实世界。这样的设计使得机器人可以在没有频繁更新模型权重的情况下，适应不同的操作环境。
技术框架：Real2Gym框架主要包括Real2Sim模块，该模块负责重建可编辑场景、对齐对象和相机、验证动作的可行性，并生成任务条件变体。代理在这些环境中生成可执行代码，观察结果并提炼成功与失败的经验。
关键创新：最重要的技术创新在于通过共享的感知与控制接口，使得仿真中获得的技能能够无缝迁移到真实机器人上。这一方法与现有的单一环境学习方法本质上不同，提供了更高的灵活性和适应性。
关键设计：在设计中，采用了动作可行性检查机制，确保生成的任务条件变体在物理执行中是可行的。此外，代理生成的代码结构化，便于后续的任务执行和经验提炼。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Real2Gym在高保真仿真环境重建方面的成功率比GPT-6 Astra Direct Mode高出16.7%，同时在真实Franka机器人上的执行成功率提升了33.3%。这些结果展示了Real2Gym在机器人技能学习和应用中的显著优势。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化制造和人机协作等。通过将现实视频中的操作技能转化为机器人可执行的任务，Real2Gym能够显著提高机器人在复杂环境中的自主操作能力，推动智能机器人在实际应用中的普及与发展。
📄 摘要（原文）
Real-world videos provide rich demonstrations of manipulation, but turning them into reusable robot skills requires visually aligned environments, executable physical interactions, and mechanisms for learning from experience. We introduce Real2Gym, an agentic Real2Sim2Real framework that turns human and robot demonstrations into interactive simulation gyms and brings skills acquired in simulation to physical robots. The Real2Sim module reconstructs editable scenes, aligns objects and cameras with the input, validates demonstrated or retargeted actions through native physics execution, and generates task-conditioned variations with action-feasibility checks. Within these environments, the agent generates executable code for manipulation stages, observes their outcomes, and distills successful attempts and failures into reusable task procedures, object-relative motions, and recovery strategies. Through a shared perception-and-control interface, these skills guide subsequent execution in simulation and on real robots, with motions adapted to current observations and no updates to the underlying model weights. Extensive evaluations demonstrate that Real2Gym enables high-fidelity simulation environment reconstruction, outperforming GPT-6 Astra Direct Mode by 16.7% in success rate with approximately 74.9% fewer policy-execution tokens across these environments, while exceeding it by 33.3% in physical robot execution success rate across four tasks on a real Franka robot.