MoDiPO: text-to-motion alignment via AI-feedback-driven Direct Preference Optimization

📄 arXiv: 2405.03803v1 📥 PDF

作者: Massimiliano Pappa, Luca Collorone, Giovanni Ficarra, Indro Spinelli, Fabio Galasso

分类: cs.CV

发布日期: 2024-05-06

💡 一句话要点

MoDiPO：通过AI反馈驱动的直接偏好优化实现文本到动作的对齐

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 文本到动作生成 扩散模型 直接偏好优化 AI反馈 动作真实性

📋 核心要点

  1. 现有文本到动作生成模型的多样性可能导致不真实的动作生成，需要约束在文本对齐和真实性范围内。
  2. MoDiPO利用直接偏好优化（DPO）对齐文本到动作模型，并使用AI反馈代替人工偏好，降低了成本。
  3. 实验表明，MoDiPO显著提高了动作生成的真实性，具体表现为FID指标的提升，同时保持了RPrecision和多模态性能。

📝 摘要（中文）

扩散模型通过自然语言条件控制，在人体动作生成领域实现了卓越的生成质量和精细的可控性。其固有的随机性，即从单个输入生成各种输出的能力，是其成功的关键。然而，这种多样性不应是不受限制的，因为它可能导致不太可能的生成结果。相反，它应该被限制在文本对齐和真实的生成范围内。为了解决这个问题，我们提出了一种新的方法MoDiPO（Motion Diffusion DPO），它利用直接偏好优化（DPO）来对齐文本到动作模型。我们通过利用AI反馈来简化DPO中收集人类偏好的繁琐和昂贵的过程。这使我们能够尝试新的DPO策略，使用在线和离线生成的动作-偏好对。为了促进未来的研究，我们贡献了一个名为Pick-a-Move的动作-偏好数据集。我们通过定性和定量的方式证明，我们提出的方法可以产生更真实的动作。特别是，MoDiPO在保持相同的RPrecision和多模态性能的同时，显著提高了Frechet Inception Distance（FID）。

🔬 方法详解

问题定义：论文旨在解决文本到动作生成模型中，由于模型固有的随机性导致生成不真实的动作的问题。现有方法依赖人工标注偏好数据，成本高昂且效率低下。因此，需要一种更有效的方式来引导模型生成更符合文本描述且更真实的动作。

核心思路：论文的核心思路是利用直接偏好优化（DPO）框架，通过优化模型参数来直接最大化对期望动作的偏好。关键在于使用AI反馈来替代人工标注，从而降低数据收集成本，并允许更灵活的实验策略。

技术框架：MoDiPO的整体框架包括以下几个主要步骤：1) 使用文本到动作生成模型生成多个候选动作；2) 使用AI评估器（例如，预训练的动作识别模型或文本-动作匹配模型）对这些动作进行评分，作为偏好信号；3) 使用DPO算法，根据AI反馈调整扩散模型的参数，使其更倾向于生成高质量的动作。论文还提出了Pick-a-Move数据集，用于训练和评估模型。

关键创新：最重要的创新点在于使用AI反馈来驱动DPO过程，取代了传统的人工标注。这种方法不仅降低了成本，还使得可以探索在线和离线生成偏好对的策略。此外，论文还贡献了一个新的动作-偏好数据集Pick-a-Move，为该领域的研究提供了资源。

关键设计：论文的关键设计包括：1) 使用预训练的动作识别模型或文本-动作匹配模型作为AI评估器，提供偏好信号；2) 设计合适的DPO损失函数，以平衡动作的真实性和与文本描述的对齐程度；3) 探索不同的AI反馈策略，例如在线生成和离线生成偏好对；4) 构建Pick-a-Move数据集，包含动作和对应的偏好信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MoDiPO在文本到动作生成任务中取得了显著的性能提升。实验结果表明，MoDiPO在保持RPrecision和多模态性能的同时，显著降低了Frechet Inception Distance (FID)，表明生成的动作更加真实。此外，论文还贡献了Pick-a-Move数据集，为该领域的研究提供了宝贵的数据资源。

🎯 应用场景

MoDiPO技术可应用于虚拟现实、游戏开发、机器人控制等领域，提升人机交互的自然性和真实感。例如，在VR游戏中，可以根据玩家的文本指令生成更逼真的人物动作，增强沉浸式体验。在机器人领域，可以使机器人根据自然语言指令执行更复杂、更自然的动作，提高其智能化水平。

📄 摘要（原文）

Diffusion Models have revolutionized the field of human motion generation by offering exceptional generation quality and fine-grained controllability through natural language conditioning. Their inherent stochasticity, that is the ability to generate various outputs from a single input, is key to their success. However, this diversity should not be unrestricted, as it may lead to unlikely generations. Instead, it should be confined within the boundaries of text-aligned and realistic generations. To address this issue, we propose MoDiPO (Motion Diffusion DPO), a novel methodology that leverages Direct Preference Optimization (DPO) to align text-to-motion models. We streamline the laborious and expensive process of gathering human preferences needed in DPO by leveraging AI feedback instead. This enables us to experiment with novel DPO strategies, using both online and offline generated motion-preference pairs. To foster future research we contribute with a motion-preference dataset which we dub Pick-a-Move. We demonstrate, both qualitatively and quantitatively, that our proposed method yields significantly more realistic motions. In particular, MoDiPO substantially improves Frechet Inception Distance (FID) while retaining the same RPrecision and Multi-Modality performances.