MaskedMimic: Unified Physics-Based Character Control Through Masked Motion Inpainting
作者: Chen Tessler, Yunrong Guo, Ofir Nabati, Gal Chechik, Xue Bin Peng
分类: cs.AI, cs.RO
发布日期: 2024-09-22
备注: ACM Transactions on Graphics (Proc. SIGGRAPH Asia 2024) Project page: https://research.nvidia.com/labs/par/maskedmimic/
💡 一句话要点
MaskedMimic：通过掩码运动补全实现统一的基于物理的角色控制
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)
关键词: 角色控制 物理模拟 运动补全 深度学习 运动跟踪 通用控制 Transformer 掩码学习
📋 核心要点
- 现有基于物理的角色控制方法专注于特定任务和控制方式，缺乏通用性和灵活性。
- MaskedMimic将角色控制视为运动补全问题，通过掩码运动描述驱动角色行为，实现统一控制。
- 该方法通过运动跟踪数据训练，无需繁琐的奖励工程，即可支持多种控制方式和任务切换。
📝 摘要（中文）
本文提出MaskedMimic，一种将基于物理的角色控制转化为通用运动补全问题的新方法。核心思想是训练一个统一的模型，从部分（掩码）运动描述中合成运动，例如掩码关键帧、对象、文本描述或它们的任意组合。通过利用运动跟踪数据并设计可扩展的训练方法，该方法能够有效地利用各种运动描述来生成连贯的动画。该方法学习到的基于物理的控制器提供了一个直观的控制界面，无需为所有感兴趣的行为进行繁琐的奖励工程。最终的控制器支持多种控制方式，并能够在不同的任务之间实现无缝过渡。通过运动补全统一角色控制，MaskedMimic创造了多功能的虚拟角色，这些角色可以动态适应复杂的场景，并根据需要组合不同的动作，从而实现更具互动性和沉浸式的体验。
🔬 方法详解
问题定义：现有基于物理的角色控制方法通常针对特定任务进行优化，例如行走、跑步、跳跃等，并且需要针对每种任务进行单独的奖励函数设计。这导致控制器缺乏通用性，难以适应复杂多变的场景，并且开发成本高昂。此外，现有方法对控制方式的支持也较为单一，难以同时支持关键帧、文本指令和场景信息等多种控制输入。
核心思路：MaskedMimic的核心思路是将角色控制问题转化为一个通用的运动补全问题。具体来说，该方法将各种控制输入（例如关键帧、文本描述、场景信息等）视为对完整运动轨迹的部分约束，然后训练一个模型来根据这些约束补全完整的运动轨迹。通过这种方式，该方法能够将不同的控制方式统一到一个框架下，从而实现对角色的灵活控制。
技术框架：MaskedMimic的整体框架包含以下几个主要模块：1) 运动数据收集模块：收集大量的运动跟踪数据，作为训练模型的素材。2) 掩码生成模块：根据不同的控制输入，生成对应的掩码，用于指示哪些运动轨迹需要被补全。3) 运动补全模型：该模型是整个框架的核心，负责根据掩码和剩余的运动信息，补全完整的运动轨迹。4) 物理模拟模块：将补全后的运动轨迹输入到物理模拟器中，驱动角色进行运动。
关键创新：MaskedMimic最重要的技术创新点在于将角色控制问题转化为运动补全问题。这种转化使得该方法能够利用大量的运动跟踪数据进行训练，从而避免了繁琐的奖励函数设计。此外，该方法还能够支持多种控制输入，并且能够在不同的任务之间实现无缝切换。与现有方法相比，MaskedMimic具有更高的通用性和灵活性。
关键设计：MaskedMimic的关键设计包括：1) 掩码生成策略：根据不同的控制输入，设计不同的掩码生成策略，以确保模型能够有效地利用这些输入信息。2) 运动补全模型结构：采用Transformer结构作为运动补全模型，利用其强大的序列建模能力，能够有效地捕捉运动轨迹的时序依赖关系。3) 损失函数设计：设计了多种损失函数，包括运动学损失、动力学损失和风格损失，以确保补全后的运动轨迹既符合物理规律，又具有自然的风格。
🖼️ 关键图片
📊 实验亮点
论文通过实验验证了MaskedMimic的有效性。实验结果表明，MaskedMimic能够在多种任务上取得良好的性能，并且能够支持多种控制方式。例如，在模仿人类运动的任务中，MaskedMimic能够生成与参考运动高度相似的运动轨迹。在文本控制任务中，MaskedMimic能够根据文本描述生成相应的运动。与现有的基于物理的角色控制方法相比，MaskedMimic在通用性和灵活性方面具有明显的优势。
🎯 应用场景
MaskedMimic具有广泛的应用前景，例如游戏开发、虚拟现实、机器人控制等。在游戏开发中，它可以用于创建更加逼真和互动的游戏角色。在虚拟现实中，它可以用于实现更加自然的虚拟角色控制。在机器人控制中，它可以用于控制机器人执行复杂的运动任务。未来，MaskedMimic有望成为一种通用的角色控制解决方案，推动相关领域的发展。
📄 摘要（原文）
Crafting a single, versatile physics-based controller that can breathe life into interactive characters across a wide spectrum of scenarios represents an exciting frontier in character animation. An ideal controller should support diverse control modalities, such as sparse target keyframes, text instructions, and scene information. While previous works have proposed physically simulated, scene-aware control models, these systems have predominantly focused on developing controllers that each specializes in a narrow set of tasks and control modalities. This work presents MaskedMimic, a novel approach that formulates physics-based character control as a general motion inpainting problem. Our key insight is to train a single unified model to synthesize motions from partial (masked) motion descriptions, such as masked keyframes, objects, text descriptions, or any combination thereof. This is achieved by leveraging motion tracking data and designing a scalable training method that can effectively utilize diverse motion descriptions to produce coherent animations. Through this process, our approach learns a physics-based controller that provides an intuitive control interface without requiring tedious reward engineering for all behaviors of interest. The resulting controller supports a wide range of control modalities and enables seamless transitions between disparate tasks. By unifying character control through motion inpainting, MaskedMimic creates versatile virtual characters. These characters can dynamically adapt to complex scenes and compose diverse motions on demand, enabling more interactive and immersive experiences.