MAS: Multi-view Ancestral Sampling for 3D motion generation using 2D diffusion

📄 arXiv: 2310.14729v3 📥 PDF

作者: Roy Kapon, Guy Tevet, Daniel Cohen-Or, Amit H. Bermano

分类: cs.CV, cs.GR

发布日期: 2023-10-23 (更新: 2024-03-24)

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出多视角祖先采样方法以解决3D运动生成问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 3D运动生成 多视角采样 扩散模型 运动捕捉 数据稀缺 动画制作 虚拟现实

📋 核心要点

  1. 现有的3D运动生成方法往往依赖于稀缺且难以收集的3D数据，限制了其应用范围。
  2. MAS方法通过同时处理多个2D视角的运动序列，确保生成的3D运动在各视角间的一致性，从而解决了数据稀缺的问题。
  3. 实验结果表明，MAS在多个领域生成的3D运动序列多样且真实，克服了传统方法中的一些常见问题。

📝 摘要（中文）

我们提出了多视角祖先采样（MAS）方法，该方法利用在野外视频中获得的运动数据，通过2D扩散模型生成3D运动。MAS通过同时去噪多个表示同一3D运动的2D运动序列，确保在每个扩散步骤中各视角的一致性，并将其投影回原始视角。我们在专业篮球动作、节奏体操表演和马术比赛等领域展示了MAS的有效性，生成了多样且逼真的3D序列。与分数蒸馏方法不同，MAS采用了为扩散框架构建的采样过程，避免了常见的问题，如域外采样和模式崩溃。

🔬 方法详解

问题定义：本论文旨在解决3D运动生成中的数据稀缺问题，现有方法往往依赖于难以获取的3D运动捕捉数据，限制了其应用场景。

核心思路：MAS方法通过同时去噪多个2D运动序列，确保在每个扩散步骤中各视角的一致性，从而生成高质量的3D运动序列。

技术框架：MAS的整体架构包括多个模块：首先，输入多个2D视角的运动序列；然后，通过扩散模型对这些序列进行去噪；最后，将生成的3D序列投影回各个原始视角。

关键创新：MAS的主要创新在于其独特的多视角去噪机制，避免了传统方法中的域外采样和模式崩溃问题，确保了生成序列的多样性和一致性。

关键设计：在技术细节上，MAS采用了特定的损失函数来优化去噪过程，并设计了适合扩散框架的采样过程，以提高生成效果。具体参数设置和网络结构的细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MAS在生成3D运动序列时表现出色，成功避免了传统方法中的域外采样和模式崩溃问题，生成的运动序列在多个领域中均表现出高质量和多样性，显著提升了生成效果。

🎯 应用场景

该研究的潜在应用领域包括动画制作、游戏开发和虚拟现实等，能够为这些领域提供高质量的3D运动生成解决方案。随着数据采集技术的进步，MAS方法有望在更多实际场景中得到应用，推动相关技术的发展。

📄 摘要（原文）

We introduce Multi-view Ancestral Sampling (MAS), a method for 3D motion generation, using 2D diffusion models that were trained on motions obtained from in-the-wild videos. As such, MAS opens opportunities to exciting and diverse fields of motion previously under-explored as 3D data is scarce and hard to collect. MAS works by simultaneously denoising multiple 2D motion sequences representing different views of the same 3D motion. It ensures consistency across all views at each diffusion step by combining the individual generations into a unified 3D sequence, and projecting it back to the original views. We demonstrate MAS on 2D pose data acquired from videos depicting professional basketball maneuvers, rhythmic gymnastic performances featuring a ball apparatus, and horse races. In each of these domains, 3D motion capture is arduous, and yet, MAS generates diverse and realistic 3D sequences. Unlike the Score Distillation approach, which optimizes each sample by repeatedly applying small fixes, our method uses a sampling process that was constructed for the diffusion framework. As we demonstrate, MAS avoids common issues such as out-of-domain sampling and mode-collapse. https://guytevet.github.io/mas-page/