VICAR: Video Imitation with Contact-Aware Retargeting for Humanoid Interactive Skills

📄 arXiv: 2610.13079v1 📥 PDF

作者: Dvij Kalaria, Bike Zhang, S. Shankar Sastry

分类: cs.RO

发布日期: 2026-10-09

💡 一句话要点

提出VICAR以解决人形机器人模仿中的接触感知问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 视频模仿 人形机器人 接触感知 运动重定向 交互技能 动态场景 机器学习

📋 核心要点

  1. 现有视频到人形系统在处理接触丰富的模仿任务时，面临姿态、时机和速度的匹配问题，导致效果不佳。
  2. VICAR通过从第三人称视频中恢复人类运动，并重定向到人形机器人，保持接触姿态和运动速度，解决了这一问题。
  3. 在十种不同的技能任务中，VICAR展示了其在接触感知重定向方面的有效性，并成功在硬件上部署学习到的技能。

📝 摘要（中文）

第三人称人类视频为人形机器人任务提供了一种可扩展的替代方案，避免了任务特定的奖励工程和手动脚本演示。尽管现有的视频到人形系统能够从非结构化视频中提取人类运动和接触信息，但在接触丰富的模仿任务中仍存在关键缺口。为此，本文提出了VICAR（接触感知重定向的视频模仿），该系统从第三人称视频中学习人形交互技能，能够在保持接触姿态和运动速度的同时进行运动重定向。实验表明，该框架在多种技能任务中表现出色，展示了接触保持重定向在学习人类交互行为中的实际应用潜力。

🔬 方法详解

问题定义：本文旨在解决人形机器人在模仿人类复杂交互技能时，如何有效处理接触信息的问题。现有方法往往无法在动态场景中保持接触姿态和运动速度，导致模仿效果不理想。

核心思路：VICAR通过引入接触感知重定向机制，能够在重定向人类运动时，优先考虑用户指定的接触姿态和碰撞间隙，从而实现更自然的运动模仿。

技术框架：VICAR的整体流程包括三个主要阶段：首先从单目视频中恢复人类运动；其次重建与任务相关的障碍物；最后将运动重定向到人形机器人，同时保持接触姿态和运动速度。

关键创新：VICAR的创新在于将接触姿态和碰撞间隙作为高优先级的拉格朗日惩罚项进行优化，确保运动在接触丰富的过渡中保持平滑，这与传统方法的局限性形成鲜明对比。

关键设计：在损失函数设计上，VICAR引入了接触姿态和碰撞间隙的惩罚项，确保运动的连续性和自然性。此外，运动生成器的输入包括可移动的接触点，以便在运行时适应新的接触位置。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，VICAR成功展示了在十种不同的技能任务中，包括六种乒乓球发球和三种物体拾取任务，均能有效保持接触姿态和运动速度。与传统方法相比，VICAR在运动平滑性和自然性上有显著提升，展示了接触保持重定向的实际应用潜力。

🎯 应用场景

VICAR的研究成果在多个领域具有潜在应用价值，包括人形机器人在家庭服务、医疗辅助和娱乐等场景中的交互能力提升。通过学习人类的交互行为，机器人能够更好地适应复杂的环境和任务，提升其自主性和实用性。

📄 摘要（原文）

Third-person human videos offer a scalable alternative to task-specific reward engineering, teleoperation, and manually scripted demonstrations for humanoid loco-manipulation. Recent video-to-humanoid systems have shown that noisy human motion, object trajectories, and contacts can be extracted from unstructured videos and refined into deployable skills. However, a key gap remains for contact-rich imitation: the task is often defined by world-frame contacts whose poses, timing, and speed must survive embodiment mismatch and runtime scene changes. Towards this, we present VICAR (Video Imitation with Contact-Aware Retargeting), a pipeline for learning humanoid interactive skills from third-person human videos. The system first recovers human motion, reconstructs task-relevant obstacles from monocular video, and then retargets the motion to a humanoid while preserving global contact poses, motion speed, and collision clearance. Unlike retargeting methods that only remove penetration or preserve local interaction geometry, our formulation represents user-specified contact poses and collision clearance as high-priority Lagrangian penalty terms and optimizes the full motion to remain smooth through contact-rich transitions. The resulting motions are used to train a contact-conditioned motion generator whose inputs include movable contact points enabling runtime adaptation to new contact positions. We demonstrate the framework on ten diverse third-person video skills, including six table-tennis serves, three object-pickup tasks, and ladder climbing, and deploy the learned skills on hardware. These results suggest that contact-preserving retargeting is a practical step toward humanoids that learn useful interactive behavior by watching humans.