InterMimic: Towards Universal Whole-Body Control for Physics-Based Human-Object Interactions
作者: Sirui Xu, Hung Yu Ling, Yu-Xiong Wang, Liang-Yan Gui
分类: cs.CV, cs.GR, cs.RO
发布日期: 2025-02-27
备注: CVPR 2025. Project Page: https://sirui-xu.github.io/InterMimic/
💡 一句话要点
InterMimic：面向物理交互的通用全身控制，从不完美的动作捕捉数据中学习。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱五：交互与反应 (Interaction & Reaction)
关键词: 人-物交互 全身控制 动作模仿 课程学习 知识蒸馏 强化学习 物理模拟
📋 核心要点
- 现有方法难以处理复杂的人-物交互，面临物体几何多样性、动作捕捉数据不准确等挑战。
- InterMimic采用课程学习，先训练教师策略模仿和细化动作捕捉，再蒸馏到学生策略。
- 通过强化学习微调学生策略，超越单纯模仿，实现更高质量的交互，并具备零样本泛化能力。
📝 摘要（中文）
实现逼真的人与各种物体交互的模拟一直是研究的基本目标。将基于物理的运动模仿扩展到复杂的人-物交互（HOI）具有挑战性，因为人与物之间的耦合复杂、物体几何形状多变，以及动作捕捉数据中存在不准确的接触和有限的手部细节等问题。我们提出了InterMimic，该框架能够使单个策略从涵盖与动态和多样化物体的各种全身交互的大量不完美MoCap数据中稳健地学习。我们的关键在于采用课程学习策略——先完美，再扩展。我们首先训练特定主体的教师策略来模仿、重定向和细化动作捕捉数据。接下来，我们将这些教师策略提炼成学生策略，教师作为在线专家提供直接监督以及高质量的参考。值得注意的是，我们在学生策略上加入了强化学习微调，以超越单纯的演示复制，并获得更高质量的解决方案。实验表明，InterMimic在多个HOI数据集上产生了逼真且多样化的交互。学习到的策略以零样本方式泛化，并与运动学生成器无缝集成，从而将该框架从单纯的模仿提升到复杂人-物交互的生成建模。
🔬 方法详解
问题定义：论文旨在解决物理引擎中人与各种物体进行逼真交互的模拟问题。现有的方法在处理复杂的人-物交互时，由于物体几何形状的多样性、动作捕捉数据的不准确性（例如接触不精确、手部细节不足）以及人与物之间复杂的耦合关系，面临着诸多挑战，导致模拟结果不够真实自然。
核心思路：论文的核心思路是采用一种课程学习的策略，即“先完美，再扩展”。首先，训练多个特定主体的教师策略，使其能够尽可能完美地模仿、重定向和细化动作捕捉数据，从而获得高质量的运动参考。然后，利用这些教师策略作为在线专家，指导学生策略的学习，通过蒸馏的方式将教师策略的知识迁移到学生策略中。
技术框架：InterMimic框架主要包含两个阶段：教师策略训练阶段和学生策略训练阶段。在教师策略训练阶段，针对每个特定主体，训练一个能够模仿动作捕捉数据的教师策略。在学生策略训练阶段，利用教师策略作为在线专家，为学生策略提供监督信号和高质量的运动参考。此外，还使用强化学习对学生策略进行微调，使其能够超越单纯的模仿，获得更高质量的交互结果。整个框架可以与运动学生成器集成，实现复杂人-物交互的生成建模。
关键创新：该论文的关键创新在于提出了一种基于课程学习和蒸馏的框架，能够从不完美的动作捕捉数据中学习到鲁棒的通用全身控制策略，用于模拟逼真的人-物交互。与现有方法相比，InterMimic能够更好地处理复杂的人-物耦合关系，适应物体几何形状的多样性，并克服动作捕捉数据中的噪声和不准确性。
关键设计：在教师策略训练阶段，使用了模仿学习的方法，目标是最小化模拟运动与动作捕捉数据之间的差异。在学生策略训练阶段，使用了蒸馏学习的方法，目标是使学生策略的输出尽可能接近教师策略的输出。此外，还使用了强化学习对学生策略进行微调，目标是最大化奖励函数，奖励函数的设计考虑了运动的自然性和与物体的交互效果。具体的网络结构和参数设置在论文中有详细描述，但此处未知。
🖼️ 关键图片
📊 实验亮点
InterMimic在多个HOI数据集上进行了实验，结果表明该方法能够生成逼真且多样化的交互。学习到的策略具有零样本泛化能力，可以处理未见过的物体和场景。通过强化学习微调，InterMimic能够超越单纯的模仿，获得更高质量的交互结果。具体的性能数据和对比基线未知。
🎯 应用场景
InterMimic具有广泛的应用前景，例如虚拟现实、游戏开发、机器人控制、动画制作等领域。它可以用于创建更加逼真和自然的虚拟环境，提高用户体验。此外，该技术还可以用于训练机器人完成复杂的人-物交互任务，例如装配、搬运等。未来，InterMimic有望成为人机交互领域的重要技术支撑。
📄 摘要（原文）
Achieving realistic simulations of humans interacting with a wide range of objects has long been a fundamental goal. Extending physics-based motion imitation to complex human-object interactions (HOIs) is challenging due to intricate human-object coupling, variability in object geometries, and artifacts in motion capture data, such as inaccurate contacts and limited hand detail. We introduce InterMimic, a framework that enables a single policy to robustly learn from hours of imperfect MoCap data covering diverse full-body interactions with dynamic and varied objects. Our key insight is to employ a curriculum strategy -- perfect first, then scale up. We first train subject-specific teacher policies to mimic, retarget, and refine motion capture data. Next, we distill these teachers into a student policy, with the teachers acting as online experts providing direct supervision, as well as high-quality references. Notably, we incorporate RL fine-tuning on the student policy to surpass mere demonstration replication and achieve higher-quality solutions. Our experiments demonstrate that InterMimic produces realistic and diverse interactions across multiple HOI datasets. The learned policy generalizes in a zero-shot manner and seamlessly integrates with kinematic generators, elevating the framework from mere imitation to generative modeling of complex human-object interactions.