Scalable Motion In-betweening via Diffusion and Physics-Based Character Adaptation
作者: Jia Qin
分类: cs.GR
发布日期: 2025-04-13
💡 一句话要点
提出基于扩散模型和物理的角色自适应运动补全框架
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱八：物理动画 (Physics-based Animation)
关键词: 运动补全 扩散模型 强化学习 角色自适应 物理仿真
📋 核心要点
- 现有运动补全方法难以泛化到具有不同骨骼的角色，需要为每个角色单独训练模型。
- 提出一种两阶段框架，首先使用扩散模型生成角色无关的运动，然后通过强化学习进行角色自适应。
- 实验表明，该方法能够生成物理合理且风格一致的运动，并在不同角色上表现出良好的泛化能力。
📝 摘要（中文）
本文提出了一种两阶段的运动补全框架，该框架结合了基于扩散的运动生成和基于物理的角色自适应。在第一阶段，一个与角色无关的扩散模型在规范骨骼上从稀疏的关键帧合成过渡动作，使得同一个模型能够泛化到不同的角色。在第二阶段，一个基于强化学习的控制器将规范动作适配到目标角色的形态和动力学，从而纠正伪影并增强风格的真实感。这种设计支持跨具有不同骨骼的角色进行可扩展的运动生成，而无需重新训练整个模型。在标准基准和风格化角色上的实验表明，我们的方法在稀疏和长程约束下产生物理上合理、风格一致的运动。
🔬 方法详解
问题定义：运动补全旨在根据给定的关键帧生成中间的过渡动作。现有方法通常难以泛化到具有不同骨骼结构的角色，需要针对每个角色重新训练模型，成本高昂。此外，生成的运动可能存在物理不合理或风格不一致的问题。
核心思路：论文的核心思路是将运动生成和角色自适应解耦。首先，使用扩散模型在规范骨骼上生成与角色无关的运动，从而实现跨角色的泛化。然后，利用强化学习训练一个控制器，将规范运动适配到目标角色的形态和动力学，从而保证运动的物理合理性和风格一致性。
技术框架：该框架包含两个主要阶段：1) 基于扩散的运动生成阶段：使用一个条件扩散模型，以稀疏的关键帧作为条件，生成规范骨骼上的过渡运动。该扩散模型学习从噪声到运动的逆过程。2) 基于强化学习的角色自适应阶段：使用强化学习训练一个控制器，该控制器将规范运动作为输入，并输出目标角色的关节角度。奖励函数的设计考虑了运动的物理合理性、风格一致性和与关键帧的匹配程度。
关键创新：该方法最重要的创新点在于将运动生成和角色自适应解耦，从而实现了跨角色的可扩展运动补全。与现有方法相比，该方法无需为每个角色单独训练模型，大大降低了计算成本。此外，通过强化学习进行角色自适应，可以有效地保证运动的物理合理性和风格一致性。
关键设计：扩散模型采用U-Net结构，以关键帧作为条件输入。强化学习控制器采用Actor-Critic结构，Actor网络输出目标角色的关节角度，Critic网络评估当前状态的价值。奖励函数包括三部分：1) 物理奖励，鼓励运动的物理合理性；2) 风格奖励，鼓励运动与目标角色的风格一致；3) 关键帧奖励，鼓励生成的运动与给定的关键帧匹配。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在标准基准测试中取得了与现有方法相当甚至更好的性能。更重要的是，该方法在风格化角色上表现出良好的泛化能力，能够生成物理合理且风格一致的运动。与基线方法相比，该方法在运动质量和风格一致性方面均有显著提升。
🎯 应用场景
该研究成果可应用于游戏开发、动画制作、虚拟现实等领域。通过该方法，可以快速生成各种角色的自然流畅的运动，提高内容创作的效率和质量。此外，该方法还可以用于运动康复和人机交互等领域，例如，可以根据用户的意图生成个性化的运动指导。
📄 摘要（原文）
We propose a two-stage framework for motion in-betweening that combines diffusion-based motion generation with physics-based character adaptation. In Stage 1, a character-agnostic diffusion model synthesizes transitions from sparse keyframes on a canonical skeleton, allowing the same model to generalize across diverse characters. In Stage 2, a reinforcement learning-based controller adapts the canonical motion to the target character's morphology and dynamics, correcting artifacts and enhancing stylistic realism. This design supports scalable motion generation across characters with diverse skeletons without retraining the entire model. Experiments on standard benchmarks and stylized characters demonstrate that our method produces physically plausible, style-consistent motions under sparse and long-range constraints.