ReShoot: Generative Visual Domain Randomization of Recorded Robot Demonstrations for Visuomotor Policy Learning

📄 arXiv: 2609.19661v1 📥 PDF

作者: Chiyoung Kim, Min Sung Choi, Jinho Ju, Chanhoe Gu, Donghwan Hwang, Wonseok Choi, Woongsun Jeon, Minhyeok Lee

分类: cs.RO

发布日期: 2026-09-17

备注: Preprint

💡 一句话要点

提出ReShoot框架以解决机器人示范中的视觉过拟合问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉领域随机化 模仿学习 机器人策略 数据生成 多样性合成 鲁棒性提升 边缘条件生成

📋 核心要点

  1. 现有的模仿学习方法容易过拟合于特定的视觉条件，导致在新环境下性能下降。
  2. ReShoot框架通过重新渲染已记录的示范，合成多样化的视觉数据，减少了对额外示范的需求。
  3. 在LIBERO和LIBERO-Plus上，使用ReShoot的策略在多种场景下表现出更强的鲁棒性，成功率显著提高。

📝 摘要（中文）

模仿学习的机器人策略常常过拟合于训练示范中的视觉条件，因此在物体颜色或背景外观变化时，性能会显著下降。传统的解决方案是获取额外的示范，但这需要大量资源。本文提出ReShoot框架，通过重新渲染已记录的示范以合成视觉多样性，将数据收集的负担转移到生成上。该框架利用视觉-语言模型对场景进行描述，编辑目标属性，并通过边缘条件视频生成器重新渲染相机视图。实验结果表明，使用ReShoot的混合训练集在多个平台上显著提高了对重新着色物体的成功率，同时保持了原始外观下的性能。

🔬 方法详解

问题定义：本文旨在解决模仿学习中机器人策略对特定视觉条件的过拟合问题。现有方法依赖于大量额外的示范收集，既耗时又耗力。

核心思路：ReShoot框架通过对已记录示范进行重新渲染，生成多样化的视觉数据，从而减少对新示范的需求，提升策略的泛化能力。

技术框架：该框架包括三个主要模块：视觉-语言模型用于描述场景并编辑目标属性，边缘条件视频生成器用于重新渲染相机视图，最后更新指令以匹配新生成的视觉内容。

关键创新：ReShoot的核心创新在于将数据生成与收集相结合，利用已有示范生成多样化的视觉场景，避免了传统方法的高成本和低效率。

关键设计：在实现中，使用了边缘条件生成网络来确保生成的视频与目标属性一致，同时保留原始动作序列和本体轨迹，避免了重新标注的需求。实验中采用了LIBERO数据集进行验证。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在LIBERO数据集上，使用ReShoot的策略在混合训练集下达到了96.5%的性能，与仅使用记录示范的96.9%相当。同时，在LIBERO-Plus上，鲁棒性提升至85.5%，相比之下，传统方法仅为82.3%。在实际应用中，ReShoot显著提高了对重新着色物体的成功率，从0.0%提升至42.9%和47.5%。

🎯 应用场景

ReShoot框架具有广泛的应用潜力，尤其在机器人学习、自动化制造和人机交互等领域。通过减少对新示范的需求，该方法可以加速机器人在多变环境中的学习过程，提高其适应性和效率，未来可能推动智能机器人技术的进一步发展。

📄 摘要（原文）

Imitation-learned robot policies are frequently overfit to the visual conditions present in their training demonstrations. Consequently, variations in object color or background appearance often induce substantial performance degradation. A common mitigation strategy is to acquire additional demonstrations in each novel visual context; however, this approach is resource-intensive, requiring repeated access to a robot, a controlled environment, and human operation for every appearance condition to be covered. We introduce ReShoot, a framework that synthesizes visual diversity by re-rendering previously recorded demonstrations under altered appearances, thereby shifting the burden from data collection to generation. A vision-language model captions the scene, edits a targeted attribute (e.g., background, object color, or material), and an edge-conditioned video generator re-renders both camera views to match. The instruction is updated accordingly. The action sequence and proprioceptive trajectory are copied verbatim without relabeling, so each generated episode retains the recorded action and proprioceptive labels. On LIBERO, a policy trained on an equal mixture of recorded and re-rendered demonstrations matches the performance of recorded-only training (96.5% vs. 96.9%). Moreover, the mixed training set improves robustness to scene perturbations on LIBERO-Plus (85.5% vs. 82.3%). Across two physical robotic platforms, deploying ReShoot with 43 and 100 pre-collected demonstrations increased the success rate on recolored objects from 0.0% to 42.9% and 47.5%, respectively, while maintaining performance under the original recorded appearance.