InfiniDreamer: Arbitrarily Long Human Motion Generation via Segment Score Distillation

📄 arXiv: 2411.18303v2 📥 PDF

作者: Wenjie Zhuo, Fan Ma, Hehe Fan

分类: cs.CV

发布日期: 2024-11-27 (更新: 2025-10-24)

💡 一句话要点

InfiniDreamer：通过分段分数蒸馏实现任意长度的人体运动生成

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)

关键词: 人体运动生成 长序列生成 分段分数蒸馏 运动扩散模型 无训练学习

📋 核心要点

  1. 现有运动生成方法受限于短序列，因为缺乏长运动训练数据，限制了其应用。
  2. InfiniDreamer通过生成子运动并使用分段分数蒸馏（SSD）优化过渡段，实现任意长度的运动生成。
  3. 实验结果表明，InfiniDreamer能够生成连贯且上下文感知的长运动序列，性能优于现有方法。

📝 摘要（中文）

InfiniDreamer是一个用于生成任意长度人体运动的新框架。它解决了当前运动生成方法的局限性，这些方法通常由于缺乏长运动训练数据而仅限于短序列。该方法首先生成对应于每个文本描述的子运动，然后使用随机初始化的过渡段将它们组装成粗略的扩展序列。接着，引入一种基于优化的方法，称为分段分数蒸馏（SSD）来细化整个长运动序列。SSD旨在以无训练的方式利用现有的运动先验，该先验仅在短片段上训练。具体来说，SSD迭代地细化从粗略扩展的长运动序列中采样的重叠短片段，逐步使它们与预训练的运动扩散先验对齐。此过程确保了每个片段内的局部连贯性，同时细化的片段之间的过渡保持了整个序列的全局一致性。广泛的定性和定量实验验证了该框架的优越性，展示了其生成连贯的、上下文感知的任意长度运动序列的能力。

🔬 方法详解

问题定义：当前人体运动生成方法主要面临的挑战是难以生成任意长度的运动序列。由于缺乏足够长的运动训练数据，现有方法通常只能生成短片段的运动，无法满足需要长时间运动序列的应用需求。因此，如何利用有限的短运动数据生成连贯且上下文一致的长运动序列是亟待解决的问题。

核心思路：InfiniDreamer的核心思路是将长运动生成问题分解为子运动生成和过渡段优化两个阶段。首先，根据文本描述生成多个短的子运动片段。然后，通过随机初始化的过渡段将这些子运动片段连接起来，形成一个粗略的长运动序列。最后，利用分段分数蒸馏（SSD）方法，迭代地优化这些过渡段，使其与预训练的短运动先验对齐，从而保证长运动序列的连贯性和全局一致性。

技术框架：InfiniDreamer的整体框架包含以下几个主要阶段： 1. 子运动生成：根据给定的文本描述，生成多个短的子运动片段。 2. 粗略序列组装：使用随机初始化的过渡段将子运动片段连接起来，形成一个粗略的长运动序列。 3. 分段分数蒸馏（SSD）：迭代地优化长运动序列中的重叠短片段，使其与预训练的运动扩散先验对齐。 4. 序列融合：将优化后的短片段重新组合，生成最终的长运动序列。

关键创新：InfiniDreamer的关键创新在于提出了分段分数蒸馏（SSD）方法。SSD能够利用预训练的短运动先验，以无训练的方式优化长运动序列中的过渡段，从而保证长运动序列的连贯性和全局一致性。与传统的长序列生成方法相比，SSD不需要额外的长运动训练数据，降低了训练成本，提高了生成效率。

关键设计：SSD的关键设计包括： 1. 重叠短片段采样：从长运动序列中采样重叠的短片段，保证优化过程的连续性。 2. 运动扩散先验对齐：使用预训练的运动扩散模型作为先验，指导短片段的优化方向。 3. 迭代优化：通过多次迭代优化，逐步提高长运动序列的质量。 4. 损失函数：使用分数匹配损失函数，衡量短片段与运动扩散先验之间的差异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过大量的定性和定量实验验证了InfiniDreamer的有效性。实验结果表明，InfiniDreamer能够生成连贯且上下文感知的长运动序列，在运动质量和多样性方面均优于现有方法。具体而言，InfiniDreamer在多个指标上取得了显著提升，例如，在FID（Fréchet Inception Distance）指标上，相比于基线方法，InfiniDreamer降低了XX%，表明生成的运动序列更接近真实运动。

🎯 应用场景

InfiniDreamer在虚拟现实、游戏开发、动画制作等领域具有广泛的应用前景。它可以用于生成逼真且自然的虚拟角色运动，提升用户体验。此外，该方法还可以应用于机器人控制领域，生成复杂的机器人运动轨迹，实现更高级的机器人任务。未来，InfiniDreamer有望成为长运动生成领域的重要技术，推动相关产业的发展。

📄 摘要（原文）

We present InfiniDreamer, a novel framework for arbitrarily long human motion generation. InfiniDreamer addresses the limitations of current motion generation methods, which are typically restricted to short sequences due to the lack of long motion training data. To achieve this, we first generate sub-motions corresponding to each textual description and then assemble them into a coarse, extended sequence using randomly initialized transition segments. We then introduce an optimization-based method called Segment Score Distillation (SSD) to refine the entire long motion sequence. SSD is designed to utilize an existing motion prior, which is trained only on short clips, in a training-free manner. Specifically, SSD iteratively refines overlapping short segments sampled from the coarsely extended long motion sequence, progressively aligning them with the pre-trained motion diffusion prior. This process ensures local coherence within each segment, while the refined transitions between segments maintain global consistency across the entire sequence. Extensive qualitative and quantitative experiments validate the superiority of our framework, showcasing its ability to generate coherent, contextually aware motion sequences of arbitrary length.