BiPO: Bidirectional Partial Occlusion Network for Text-to-Motion Synthesis

📄 arXiv: 2412.00112v3 📥 PDF

作者: Seong-Eun Hong, Soobin Lim, Juyeong Hwang, Minwook Chang, Hyeongyeop Kang

分类: cs.CV, cs.GR

发布日期: 2024-11-28 (更新: 2026-01-07)

备注: 18 pages, 11 figures. Accepted to WACV 2026

💡 一句话要点

提出BiPO，通过双向部分遮挡网络增强文本到动作合成效果

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 文本到动作合成 双向自回归网络 部分遮挡 人体运动生成 运动编辑

📋 核心要点

  1. 现有文本到动作合成方法难以协调全身动态，捕捉细微的运动模式，从而生成自然且富有表现力的动作。
  2. BiPO通过结合基于部分的生成和双向自回归架构，同时考虑过去和未来的上下文，实现对身体部位的精细控制。
  3. 在HumanML3D数据集上，BiPO在FID分数和整体运动质量方面超越了ParCo、MoMask和BAMM等先进方法。

📝 摘要（中文）

本文提出了一种用于文本到动作合成的双向部分遮挡网络BiPO。该模型通过结合基于部分的生成方式和双向自回归架构，提升了文本到动作的合成效果。这种结合使得BiPO在生成过程中能够同时考虑过去和未来的上下文信息，并增强了对各个身体部位的精细控制，且无需预先指定动作序列的长度。为了缓解这种结合所引起的身体部位之间的相互依赖性，我们设计了部分遮挡技术，在训练过程中以一定的概率遮挡某些动作部分的信息。在HumanML3D数据集上的综合实验表明，BiPO在FID分数和整体运动质量方面均优于ParCo、MoMask和BAMM等最新的方法。值得注意的是，BiPO不仅在文本到动作生成任务中表现出色，而且在运动编辑任务中也表现出色，能够基于部分生成的运动序列和文本描述合成运动。这些结果表明BiPO在推进文本到动作合成方面的有效性及其在实际应用中的潜力。

🔬 方法详解

问题定义：文本到动作合成旨在根据给定的文本描述生成逼真的人体运动序列。现有方法的痛点在于难以同时捕捉全局的运动连贯性和局部的细节表达，并且常常需要预先确定动作序列的长度，限制了其灵活性。此外，身体各部分之间的强依赖关系也使得模型难以进行精细的控制。

核心思路：BiPO的核心思路是将动作生成过程分解为基于身体部位的子任务，并利用双向自回归模型同时考虑过去和未来的上下文信息。通过部分遮挡技术，降低身体部位之间的依赖性，从而实现更精细的控制和更自然的运动合成。这种设计允许模型在无需预先指定动作长度的情况下，生成高质量的运动序列。

技术框架：BiPO的整体架构包含文本编码器、运动解码器和部分遮挡模块。文本编码器将文本描述转换为特征向量。运动解码器采用双向自回归结构，根据文本特征和已生成的运动序列，预测下一个运动帧。部分遮挡模块在训练过程中随机遮挡部分身体部位的运动信息，以降低身体部位之间的依赖性。

关键创新：BiPO的关键创新在于以下几点：1) 结合了基于部分的生成和双向自回归架构，实现了对全局连贯性和局部细节的有效建模。2) 提出了部分遮挡技术，降低了身体部位之间的依赖性，提高了控制的精细度。3) 无需预先指定动作序列的长度，增加了模型的灵活性。与现有方法相比，BiPO能够生成更自然、更富有表现力的运动序列。

关键设计：部分遮挡模块通过一个概率分布来决定哪些身体部位的运动信息将被遮挡。遮挡概率是一个可调节的超参数，控制着身体部位之间的依赖程度。损失函数包括运动重建损失和对抗损失，用于保证生成运动的质量和真实性。网络结构采用Transformer架构，以捕捉长距离的依赖关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

BiPO在HumanML3D数据集上取得了显著的性能提升，在文本到动作生成任务中，其FID分数优于ParCo、MoMask和BAMM等先进方法。此外，BiPO在运动编辑任务中也表现出色，能够根据部分生成的运动序列和文本描述合成高质量的运动。这些实验结果表明BiPO在文本到动作合成方面具有强大的能力。

🎯 应用场景

BiPO在游戏开发、虚拟现实、动画制作等领域具有广泛的应用前景。它可以用于根据文本描述自动生成游戏角色的动作、创建逼真的虚拟人物动画，以及辅助动画设计师进行运动编辑。该研究的实际价值在于降低了动作生成的人工成本，提高了创作效率，并为用户提供了更自然、更具表现力的交互体验。未来，BiPO有望应用于更复杂的场景，例如人机协作、智能康复等。

📄 摘要（原文）

Generating natural and expressive human motions from textual descriptions is challenging due to the complexity of coordinating full-body dynamics and capturing nuanced motion patterns over extended sequences that accurately reflect the given text. To address this, we introduce BiPO, Bidirectional Partial Occlusion Network for Text-to-Motion Synthesis, a novel model that enhances text-to-motion synthesis by integrating part-based generation with a bidirectional autoregressive architecture. This integration allows BiPO to consider both past and future contexts during generation while enhancing detailed control over individual body parts without requiring ground-truth motion length. To relax the interdependency among body parts caused by the integration, we devise the Partial Occlusion technique, which probabilistically occludes the certain motion part information during training. In our comprehensive experiments, BiPO achieves state-of-the-art performance on the HumanML3D dataset, outperforming recent methods such as ParCo, MoMask, and BAMM in terms of FID scores and overall motion quality. Notably, BiPO excels not only in the text-to-motion generation task but also in motion editing tasks that synthesize motion based on partially generated motion sequences and textual descriptions. These results reveal the BiPO's effectiveness in advancing text-to-motion synthesis and its potential for practical applications.