Counterfactual Video Generation Enables Scalable Humanoid Loco-Manipulation
作者: Zihan Wang, Zhen Wu, Pieter Abbeel, Rocky Duan, Jitendra Malik, Carmelo Sferrazza, C. Karen Liu, Guanya Shi, Angjoo Kanazawa
分类: cs.RO, cs.CV, cs.GR
发布日期: 2026-09-29
备注: published at CoRL 2026. Project page: https://prism-real2sim2real.github.io/
💡 一句话要点
提出PRISM框架以解决人形机器人运动操控技能训练问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion) 支柱五：交互与反应 (Interaction & Reaction)
关键词: 人形机器人 运动操控 反事实生成 视频生成 深度学习 视觉模仿 机器人学习
📋 核心要点
- 现有方法在收集多样化高质量人-物互动视频方面面临实际障碍，限制了人形机器人运动操控技能的训练。
- 本文提出PRISM框架，通过视频到视频生成技术，从少量真实视频生成多样的反事实视频，扩展训练数据集。
- 实验结果显示，使用该框架训练的策略能够在真实机器人上执行任务，且无需进行真实世界的微调。
📝 摘要（中文）
本研究旨在通过视觉模仿教会人形机器人进行运动操控技能，如携带多样物体。然而，收集多样且高质量的互动视频存在实际障碍。为此，本文提出了PRISM，一个真实到仿真再到真实的框架，通过从少量真实视频生成数百个多样的“反事实”人-物互动视频，克服了这一限制。该框架重建人和物体的运动，并将不完美的视频数据重定向为物理上合理的轨迹。最终，实验表明该策略能够在没有真实世界微调的情况下，成功在真实机器人上执行任务。
🔬 方法详解
问题定义：本研究旨在解决人形机器人在运动操控技能训练中，缺乏多样化高质量人-物互动视频的问题。现有方法难以收集足够的训练数据，限制了机器人的学习能力。
核心思路：论文提出的PRISM框架通过生成反事实视频，扩展了训练数据集，使得机器人能够在多样化的场景中学习和执行任务。该方法利用视频到视频生成技术，增强了训练数据的多样性。
技术框架：PRISM框架包括三个主要模块：首先，从少量真实视频生成数百个反事实人-物互动视频；其次，通过接触锚定的真实到仿真管道重建人和物体的运动；最后，将这些不完美的视频数据重定向为物理上合理的轨迹。
关键创新：最重要的技术创新在于通过反事实视频生成技术，显著提高了训练数据的多样性和丰富性，使得单一策略能够泛化到未见过的物体。与现有方法相比，该框架有效解决了数据稀缺的问题。
关键设计：在技术细节上，PRISM框架采用了特定的损失函数来优化视频生成质量，并设计了适应性强的网络结构，以确保生成的视频在物理上合理且具有多样性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用PRISM框架训练的策略能够在真实机器人上成功执行多种任务，包括拾取、携带和放置不同类型的物体。该方法在没有任何真实世界微调的情况下，展示了良好的泛化能力，显著提升了机器人在新实例和配置下的操作能力。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和家庭助理等。通过提升人形机器人的运动操控能力，能够在更复杂的环境中执行任务，具有重要的实际价值和广泛的市场前景。未来，该技术可能推动机器人在日常生活和工业应用中的普及。
📄 摘要（原文）
Teaching humanoids loco-manipulation skills, such as carrying diverse objects, via visual imitation is a promising path toward generalist robots. However, collecting diverse, high-quality interaction videos, such as clips that clearly show a person's full body and unoccluded interactions with objects, poses a practical barrier to scaling this approach. We propose PRISM, a real-to-sim-to-real framework that overcomes this limitation by amplifying a handful of real videos into a large, diverse training set. PRISM first generates hundreds of diverse "counterfactual" human-object interaction videos via video-to-video (V2V) generation from a few exemplar real videos. Our contact-anchored real-to-sim pipeline then reconstructs both human and object motions, retargeting this imperfect video data into physically plausible trajectories. The intra-class variability across these counterfactual videos lets us train a single policy that generalizes to unseen objects within each category. We demonstrate the full pipeline by deploying this policy on a real robot without any real-world fine-tuning. Using only onboard depth observations, our humanoid picks up, carries, and drops objects, including boxes, barrels, bins, and balls, across novel instances, sizes, and initial configurations.