Embracing Aleatoric Uncertainty: Generating Diverse 3D Human Motion

📄 arXiv: 2508.20604v1 📥 PDF

作者: Zheng Qin, Yabing Wang, Minghui Yang, Sanping Zhou, Ming Yang, Le Wang

分类: cs.CV

发布日期: 2025-08-28

💡 一句话要点

Diverse-T2M：通过引入不确定性生成多样化3D人体运动

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 文本到动作生成 3D人体运动 生成模型 不确定性建模 Transformer 潜在空间采样 动作多样性

📋 核心要点

  1. 现有文本到动作生成方法难以在保证语义一致性的前提下，实现生成动作的多样性，这是一个显著挑战。
  2. Diverse-T2M的核心思想是在Transformer架构中显式建模不确定性，并利用潜在空间采样增强生成过程的随机性。
  3. 实验结果表明，Diverse-T2M在HumanML3D和KIT-ML数据集上，显著提升了生成动作的多样性，同时保持了文本一致性。

📝 摘要（中文）

本文提出了一种简单而有效的文本到动作生成方法Diverse-T2M，旨在解决从文本生成3D人体运动时，保证文本-动作一致性的同时实现生成多样性的挑战。该方法通过在生成过程中引入不确定性，在保持文本语义一致性的前提下，生成高度多样化的动作。具体而言，该方法利用噪声信号作为transformer中多样性信息的载体，从而显式地建模不确定性。此外，该方法构建了一个潜在空间，将文本投影到连续表示中，而不是刚性的一对一映射，并集成了一个潜在空间采样器，将随机采样引入到生成过程中，从而增强了输出的多样性和不确定性。在文本到动作生成基准数据集HumanML3D和KIT-ML上的结果表明，该方法在保持文本一致性的同时，显著提高了多样性。

🔬 方法详解

问题定义：本文旨在解决文本驱动的3D人体运动生成任务中，生成动作多样性不足的问题。现有方法通常难以在保证生成动作与输入文本语义一致性的前提下，产生足够丰富的动作变化。这限制了其在需要多样化运动输出的应用场景中的实用性。

核心思路：Diverse-T2M的核心思路是通过在生成过程中引入可控的不确定性来提升动作的多样性。具体来说，它将噪声信号作为多样性信息的载体，并结合潜在空间采样，使得模型能够从文本的多种可能解释中生成不同的动作。这种设计避免了传统方法中单一映射导致的动作僵化问题。

技术框架：Diverse-T2M方法主要包含以下几个关键模块：1) 文本编码器：将输入文本编码为潜在空间中的连续表示。2) 噪声注入模块：将噪声信号注入到Transformer的中间层，作为多样性信息的载体。3) 潜在空间采样器：从文本编码的潜在空间中进行随机采样，进一步增加生成过程的随机性。4) 运动解码器：基于文本编码、噪声信号和潜在空间采样结果，生成3D人体运动序列。

关键创新：该方法最重要的创新在于显式地建模了生成过程中的不确定性。通过将噪声信号作为多样性信息的载体，并结合潜在空间采样，使得模型能够生成更加丰富和自然的动作。与现有方法相比，Diverse-T2M不再依赖于单一的文本到动作的映射，而是探索了文本的多种可能解释，从而实现了更高的生成多样性。

关键设计：在噪声注入模块中，噪声信号的强度和注入位置是关键参数，需要仔细调整以平衡多样性和语义一致性。潜在空间采样器的设计也至关重要，需要保证采样结果能够反映文本的语义信息，同时具有足够的随机性。损失函数的设计需要同时考虑文本一致性和动作多样性，例如可以使用对抗损失来鼓励生成更加真实的动作。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Diverse-T2M在HumanML3D和KIT-ML数据集上取得了显著的性能提升。实验结果表明，该方法在保持与现有最佳方法相当的文本一致性的前提下，显著提高了生成动作的多样性。具体而言，在多样性指标上，Diverse-T2M相比现有方法有显著提升，证明了其在生成多样化动作方面的有效性。

🎯 应用场景

该研究成果可应用于虚拟现实、游戏开发、动画制作等领域，为用户提供更加自然和多样化的人机交互体验。例如，在虚拟现实游戏中，可以根据用户的文本指令生成不同的角色动作，增强游戏的沉浸感和趣味性。未来，该技术还可以扩展到其他模态的动作生成，例如语音驱动的动作生成。

📄 摘要（原文）

Generating 3D human motions from text is a challenging yet valuable task. The key aspects of this task are ensuring text-motion consistency and achieving generation diversity. Although recent advancements have enabled the generation of precise and high-quality human motions from text, achieving diversity in the generated motions remains a significant challenge. In this paper, we aim to overcome the above challenge by designing a simple yet effective text-to-motion generation method, \textit{i.e.}, Diverse-T2M. Our method introduces uncertainty into the generation process, enabling the generation of highly diverse motions while preserving the semantic consistency of the text. Specifically, we propose a novel perspective that utilizes noise signals as carriers of diversity information in transformer-based methods, facilitating a explicit modeling of uncertainty. Moreover, we construct a latent space where text is projected into a continuous representation, instead of a rigid one-to-one mapping, and integrate a latent space sampler to introduce stochastic sampling into the generation process, thereby enhancing the diversity and uncertainty of the outputs. Our results on text-to-motion generation benchmark datasets~(HumanML3D and KIT-ML) demonstrate that our method significantly enhances diversity while maintaining state-of-the-art performance in text consistency.