Multi-Resolution Generative Modeling of Human Motion from Limited Data
作者: David Eduardo Moreno-Villamarín, Anna Hilsmann, Peter Eisert
分类: cs.CV, cs.GR, cs.LG
发布日期: 2024-11-25
备注: 1O pages, 7 figures, published in European Conference on Visual Media Production CVMP 24
💡 一句话要点
提出一种多分辨率生成模型，用于从有限数据中合成逼真的人体运动。
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)
关键词: 人体运动生成 生成对抗网络 多分辨率建模 骨骼卷积 口语同步手势
📋 核心要点
- 现有方法在有限数据下生成高质量、多样化人体运动方面存在挑战，难以捕捉复杂运动模式。
- 论文提出多分辨率生成模型，结合骨骼卷积和多尺度架构，在不同时间分辨率上生成和混合运动。
- 实验表明，该模型能有效覆盖训练样本，生成多样化运动，并能合成逼真的口语同步手势。
📝 摘要（中文）
本文提出了一种生成模型，用于从有限的训练序列中学习合成人体运动。该框架支持条件生成和跨多个时间分辨率的混合。通过集成骨骼卷积层和多尺度架构，该模型能够出色地捕捉人体运动模式。模型包含一组生成对抗网络和嵌入模块，每个模块都专门用于以特定帧率生成运动，同时控制其内容和细节。值得注意的是，我们的方法还扩展到口语同步手势的合成，展示了其从语音输入生成同步手势的能力，即使在配对数据有限的情况下也是如此。通过直接合成SMPL姿势参数，我们的方法避免了在测试时调整以拟合人体网格。实验结果表明，我们的模型能够实现对训练样本的广泛覆盖，同时生成多样化的运动，如局部和全局多样性指标所示。
🔬 方法详解
问题定义：现有的人体运动生成模型在数据量充足的情况下表现良好，但在训练数据有限时，往往难以捕捉到复杂的人体运动模式，生成结果的多样性和真实性也受到限制。此外，现有方法在处理不同时间分辨率的运动数据以及生成与语音同步的手势时，也面临挑战。
核心思路：本文的核心思路是利用多分辨率的生成模型，在不同的时间尺度上学习和生成人体运动。通过结合骨骼卷积层和多尺度架构，模型能够更好地捕捉运动的局部细节和全局结构。此外，利用生成对抗网络（GAN）来提高生成运动的真实性和多样性。
技术框架：该模型包含多个生成器和判别器，每个生成器负责在特定的帧率下生成运动。这些生成器通过一个多尺度架构连接在一起，允许模型在不同的时间分辨率上进行运动的生成和混合。此外，模型还包含嵌入模块，用于将条件信息（如语音）编码到潜在空间中，从而实现条件运动生成。整体流程包括：输入条件信息（如语音）-> 嵌入模块编码 -> 多分辨率生成器生成运动 -> 判别器评估运动真实性 -> 输出生成的SMPL姿势参数。
关键创新：该方法的主要创新点在于其多分辨率的生成架构，能够有效地处理不同时间尺度的运动数据，并生成具有丰富细节和多样性的运动。此外，该方法直接生成SMPL姿势参数，避免了测试时对人体网格进行调整的需要，简化了流程。
关键设计：模型使用了骨骼卷积层来捕捉人体骨骼的运动模式。损失函数包括对抗损失、重构损失和多样性损失，以保证生成运动的真实性、准确性和多样性。网络结构方面，采用了多个生成器和判别器，每个生成器负责特定帧率的运动生成。参数设置方面，需要仔细调整各个损失函数的权重，以平衡生成运动的真实性、准确性和多样性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该模型能够从有限的训练数据中生成多样化且逼真的人体运动。通过局部和全局多样性指标的评估，证明了该模型在运动生成方面的有效性。此外，该模型在口语同步手势生成方面也表现出色，即使在配对数据有限的情况下，也能生成与语音同步的自然手势。
🎯 应用场景
该研究成果可应用于虚拟现实、游戏开发、动画制作等领域，用于生成逼真且多样化的人体运动。特别是在需要从有限数据中生成运动的场景下，例如，为特定角色创建独特的运动风格，或生成与语音同步的自然手势。该技术还有潜力应用于人机交互领域，提升交互的自然性和流畅性。
📄 摘要（原文）
We present a generative model that learns to synthesize human motion from limited training sequences. Our framework provides conditional generation and blending across multiple temporal resolutions. The model adeptly captures human motion patterns by integrating skeletal convolution layers and a multi-scale architecture. Our model contains a set of generative and adversarial networks, along with embedding modules, each tailored for generating motions at specific frame rates while exerting control over their content and details. Notably, our approach also extends to the synthesis of co-speech gestures, demonstrating its ability to generate synchronized gestures from speech inputs, even with limited paired data. Through direct synthesis of SMPL pose parameters, our approach avoids test-time adjustments to fit human body meshes. Experimental results showcase our model's ability to achieve extensive coverage of training examples, while generating diverse motions, as indicated by local and global diversity metrics.