Generating Detailed Character Motion from Blocking Poses

📄 arXiv: 2509.16064v1 📥 PDF

作者: Purvi Goel, Guy Tevet, C. K. Liu, Kayvon Fatahalian

分类: cs.GR

发布日期: 2025-09-19

💡 一句话要点

提出一种基于扩散模型的运动细节生成方法，从粗略姿势生成精细动画

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 运动细节生成 扩散模型 角色动画 关键帧姿势 运动重定时

📋 核心要点

  1. 现有方法难以利用扩散模型先验知识，从稀疏的关键帧姿势中生成具有丰富细节的动画。
  2. 提出一种推理时混合策略，在扩散过程中融合无条件模型输出和关键帧约束，以增加动画细节。
  3. 实验表明，该方法优于现有方法，能够从粗略姿势生成更逼真、细节更丰富的角色动画。

📝 摘要（中文）

本文关注运动细节生成问题，即如何将粗略的角色动画（由稀疏、粗略且时间不精确的关键帧姿势表示）转换为精细、自然的动画。现有扩散模型可以校正时间不精确的姿势，但无法有效利用扩散先验来增强稀疏的关键帧姿势，添加更多细节。为此，本文提出一种简单的推理时技巧：在特定扩散步骤中，使用每个关键帧姿势的容差权重，将无条件扩散模型的输出与输入的关键帧姿势约束进行混合，并将结果作为输入条件传递给现有的运动重定时模型。实验表明，该方法显著优于通过混合模型输出或将关键帧姿势约束表达为引导的现有方法。该方法是第一个能够稳健地将关键帧级别的姿势转换为合理的精细角色动画的扩散模型。

🔬 方法详解

问题定义：论文旨在解决从粗略的关键帧姿势（blocking poses）生成高质量、细节丰富的角色动画的问题。现有的扩散模型虽然可以处理时间校正，但无法有效地利用扩散模型的先验知识来增强这些稀疏的关键帧姿势，从而添加更多细节。现有方法要么直接混合模型输出，要么将关键帧姿势约束作为引导，效果均不理想。

核心思路：论文的核心思路是在扩散模型的推理过程中，巧妙地融合无条件扩散模型的输出和输入的关键帧姿势约束。通过在特定的扩散步骤中，根据每个关键帧姿势的容差权重，将两者进行混合，从而在生成动画的过程中逐步添加细节。这种方法避免了直接依赖关键帧约束进行引导，而是利用扩散模型本身的生成能力来丰富动画细节。

技术框架：整体框架包含两个主要部分：一个预训练的运动重定时模型和一个无条件扩散模型。在推理时，首先运行无条件扩散模型生成初始动画。然后在特定的扩散步骤中，将无条件模型的输出与输入的关键帧姿势约束进行混合。混合后的结果作为条件输入到运动重定时模型中，以确保动画的时间一致性。这个过程迭代进行，直到生成最终的精细动画。

关键创新：最重要的创新点在于推理时的混合策略。通过在扩散过程中动态地融合无条件模型输出和关键帧约束，该方法能够有效地利用扩散模型的生成能力来添加细节，同时保持与关键帧姿势的一致性。与现有方法相比，这种混合策略避免了直接依赖关键帧约束进行引导，从而能够生成更自然、更丰富的动画细节。

关键设计：关键的设计包括：1) 每个关键帧姿势的容差权重，用于控制关键帧约束对混合结果的影响程度；2) 混合发生的扩散步骤的选择，需要根据具体任务进行调整；3) 运动重定时模型的使用，用于确保动画的时间一致性。具体的网络结构和损失函数等细节取决于所使用的预训练模型。

📊 实验亮点

该方法在运动细节生成任务上取得了显著的性能提升，能够从粗略的关键帧姿势生成高质量、细节丰富的角色动画。实验结果表明，该方法优于现有的基于混合模型输出或关键帧约束引导的方法。具体性能数据（如FID分数、用户满意度调查等）未在摘要中给出，属于未知信息。

🎯 应用场景

该研究成果可应用于游戏开发、电影制作、虚拟现实等领域，能够显著提高角色动画的制作效率和质量。动画师可以使用粗略的关键帧姿势快速创建动画原型，然后通过该方法自动生成精细的动画细节，从而节省大量时间和精力。此外，该方法还可以用于生成各种风格和类型的角色动画，具有广泛的应用前景。

📄 摘要（原文）

We focus on the problem of using generative diffusion models for the task of motion detailing: converting a rough version of a character animation, represented by a sparse set of coarsely posed, and imprecisely timed blocking poses, into a detailed, natural looking character animation. Current diffusion models can address the problem of correcting the timing of imprecisely timed poses, but we find that no good solution exists for leveraging the diffusion prior to enhance a sparse set of blocking poses with additional pose detail. We overcome this challenge using a simple inference-time trick. At certain diffusion steps, we blend the outputs of an unconditioned diffusion model with input blocking pose constraints using per-blocking-pose tolerance weights, and pass this result in as the input condition to an pre-existing motion retiming model. We find this approach works significantly better than existing approaches that attempt to add detail by blending model outputs or via expressing blocking pose constraints as guidance. The result is the first diffusion model that can robustly convert blocking-level poses into plausible detailed character animations.