RoboRender: Robot-Oriented Video Generation for Visual Sim-to-Real Transfer

📄 arXiv: 2610.09254v1 📥 PDF

作者: Huang Huang, Wensi Ai, Ziyu Chen, Youhui Wang, Zijian Du, Yang Liu, Jiaolong Yang, Li Fei-Fei, Jiajun Wu

分类: cs.RO

发布日期: 2026-10-07

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出RoboRender以解决视觉仿真与现实转移问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉仿真 机器人学习 视频生成 策略转移 深度学习

📋 核心要点

  1. 现有的仿真方法在视觉上与现实世界存在显著差异，导致训练的策略无法有效转移。
  2. RoboRender框架通过生成逼真的RGB视频，结合模拟深度视频和语言指令，来缩小视觉仿真与现实之间的差距。
  3. 在多项现实世界实验中，基于RoboRender生成的数据训练的策略成功率达71%，显著优于传统方法。

📝 摘要（中文）

仿真技术能够大规模、低成本地生成机器人数据，但在现实世界中训练的策略往往无法有效转移，主要由于视觉仿真与现实之间的差异。现有方法通常依赖中间表示，可能会丢失丰富的语义信息或在部署时需要额外的感知模块。本文提出RoboRender框架，将模拟轨迹转换为逼真的RGB视频，以用于策略学习。RoboRender训练了一种以模拟深度视频、语言指令和机器人RGB掩膜视频为条件的机器人导向视频生成模型，保留了模拟器几何、机器人运动和动作标签，同时合成了真实的纹理、背景和干扰物。生成的RGB视频与模拟器提供的状态和动作配对，用于训练零-shot的现实世界部署策略。在机器人视频测试集中，我们的方法在生成质量上超越了深度条件视频生成基线。在现实世界的抓取、关节物体操作和移动操作任务中，基于RoboRender生成数据训练的策略实现了71%的平均成功率，分别比原始仿真渲染和传统视觉领域随机化提高了约7.1倍和3.6倍。进一步表明，生成视频渲染有效减小了视觉仿真与现实之间的差距。

🔬 方法详解

问题定义：本文旨在解决视觉仿真与现实世界之间的转移问题，现有方法往往依赖中间表示，导致信息丢失或需要额外模块。

核心思路：RoboRender通过生成高质量的RGB视频，保留模拟器的几何信息和机器人动作，旨在实现更有效的策略学习和转移。

技术框架：RoboRender的整体架构包括三个主要模块：输入模块（接收深度视频和语言指令）、生成模块（生成RGB视频）和输出模块（与状态和动作配对）。

关键创新：RoboRender的主要创新在于其生成模型能够在保持模拟器几何和动作标签的同时，合成真实的背景和纹理，这与现有方法的中间表示方式有本质区别。

关键设计：模型设计中采用了特定的损失函数以优化生成视频的质量，并通过多模态输入（深度视频、语言指令等）增强生成效果，确保生成视频的真实性和有效性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，RoboRender生成的数据在机器人视频测试集中超越了深度条件视频生成基线，且在现实世界任务中，策略成功率达71%，比原始仿真渲染提高约7.1倍，显示出显著的性能提升。生成视频数量的增加进一步提升了策略的成功率，证明了生成视频在策略学习中的重要性。

🎯 应用场景

RoboRender的研究成果在机器人领域具有广泛的应用潜力，特别是在自动化抓取、物体操作和移动任务等场景中。通过生成高质量的视频数据，能够显著提高机器人在现实环境中的操作能力，降低训练成本，并推动智能机器人技术的实际应用和发展。

📄 摘要（原文）

Simulation enables large-scale, low-cost robot data generation, but policies trained in simulation often fail to transfer to the real world due to the sim-to-real visual discrepancies. Existing approaches often rely on intermediate representations, which can discard rich semantic information or require additional perception modules at deployment. We address this visual sim-to-real gap with RoboRender, a framework that converts simulated trajectories into photorealistic RGB videos for policy learning. RoboRender trains a robot-oriented video generation model conditioned on simulated depth videos, language instructions, and robot RGB mask videos, preserving simulator geometry, robot motion, and action labels while synthesizing realistic textures, backgrounds, and distractors. The generated RGB videos are paired with simulator-provided states and actions to train policies for zero-shot real-world deployment. On robot video test sets, our video model outperforms depth-conditioned video generation baselines in generation quality. In real-world experiments across pick-and-place, articulated-object manipulation, and mobile manipulation tasks, policies trained on RoboRender-generated data achieve a 71% average success rate, outperforming raw simulation renderings and conventional visual domain randomization by approximately 7.1x and 3.6x, respectively. We further show that policy performance improves with more generated videos per simulation trajectory, increasing opening-task success by 65 percentage points. These results demonstrate that generative video rendering mitigates the visual sim-to-real gap for zero-shot policy transfer. Project website: https://robo-render.github.io/.