LatentMove: Towards Complex Human Movement Video Generation

📄 arXiv: 2505.22046v2 📥 PDF

作者: Ashkan Taghipour, Morteza Ghahremani, Mohammed Bennamoun, Farid Boussaid, Aref Miri Rekavandi, Zinuo Li, Qiuhong Ke, Hamid Laga

分类: cs.CV

发布日期: 2025-05-28 (更新: 2025-06-28)

备注: The authors are withdrawing this paper due to major issues in the experiments and methodology. To prevent citation of this outdated and flawed version, we have decided to remove it while we work on a substantial revision. Thank you

💡 一句话要点

LatentMove：面向复杂人体运动视频生成的DiT框架

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 图像到视频生成 人体运动生成 扩散模型 Transformer 条件生成 数据集 评估指标 复杂运动

📋 核心要点

  1. 现有I2V方法在处理复杂、非重复的人体运动时，容易产生不自然的形变，缺乏对细节的保持。
  2. LatentMove通过引入条件控制分支和可学习的tokens，在DiT架构下实现了对复杂人体运动视频的生成。
  3. 论文构建了CHV数据集，并提出了光流和轮廓一致性指标，实验表明LatentMove在复杂运动生成方面有显著提升。

📝 摘要（中文）

本文提出了一种名为LatentMove的框架，用于从单张参考图像生成逼真的人体运动视频序列。现有方法在处理复杂、非重复的人体运动时，容易出现不自然的变形。LatentMove基于DiT架构，通过引入条件控制分支和可学习的面部/身体tokens，来保持帧间一致性和精细细节。此外，本文还构建了一个名为Complex-Human-Videos (CHV) 的数据集，用于评估I2V系统在处理复杂运动时的鲁棒性，并提出了两个指标来评估生成视频与真实视频在光流和轮廓一致性方面的表现。实验结果表明，LatentMove显著提高了人体动画的质量，尤其是在处理快速、复杂的运动时，从而推动了I2V生成技术的发展。

🔬 方法详解

问题定义：现有图像到视频（I2V）生成方法在处理复杂、非重复的人体运动时，容易出现不自然的变形，难以保持帧间一致性和细节，尤其是在快速运动和复杂姿态变化的情况下。这些方法通常难以捕捉到人体运动的细微变化，导致生成视频的真实感不足。

核心思路：LatentMove的核心思路是利用DiT（Diffusion Transformer）架构的强大生成能力，并结合条件控制和可学习的tokens，从而更好地建模复杂的人体运动。通过条件控制分支，可以引导生成过程，使其更符合预期的运动模式。可学习的tokens则用于捕捉面部和身体的细节信息，从而保持帧间一致性。

技术框架：LatentMove框架主要包含以下几个模块：1) DiT生成器：基于Diffusion Transformer的生成器，负责生成视频帧。2) 条件控制分支：接收额外的条件信息（例如，运动类型、姿态等），用于引导生成过程。3) 可学习的Face/Body Tokens：用于捕捉面部和身体的细节信息，并保持帧间一致性。整体流程是，首先将参考图像和条件信息输入到框架中，然后通过DiT生成器逐步生成视频帧，同时利用条件控制分支和可学习的tokens来优化生成过程。

关键创新：LatentMove的关键创新在于以下几个方面：1) 针对复杂人体运动的I2V生成：专注于解决现有方法在处理复杂运动时的不足。2) 条件控制分支：通过引入条件信息，可以更好地控制生成过程，使其更符合预期的运动模式。3) 可学习的Face/Body Tokens：用于捕捉面部和身体的细节信息，并保持帧间一致性。4) CHV数据集和评估指标：构建了一个新的数据集，并提出了新的评估指标，用于评估I2V系统在处理复杂运动时的鲁棒性。

关键设计：LatentMove的关键设计包括：1) DiT架构的选择：Diffusion Transformer具有强大的生成能力，适合用于生成高质量的视频帧。2) 条件控制分支的实现：具体实现方式未知，但推测可能使用了某种形式的注意力机制或编码器-解码器结构。3) 可学习的Face/Body Tokens的训练：通过某种损失函数来优化这些tokens，使其能够捕捉到面部和身体的细节信息。4) 损失函数的设计：除了标准的生成对抗损失外，可能还使用了其他损失函数，例如，光流一致性损失和轮廓一致性损失，以提高生成视频的质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LatentMove在CHV数据集上取得了显著的性能提升。与现有方法相比，LatentMove在光流一致性和轮廓一致性方面均有明显改善。具体性能数据未知，但论文强调LatentMove在处理快速、复杂的运动时，能够生成更逼真、更自然的视频。

🎯 应用场景

LatentMove在虚拟现实、游戏开发、电影制作等领域具有广泛的应用前景。它可以用于生成逼真的人体动画，从而提高用户体验。例如，在虚拟现实游戏中，可以使用LatentMove来生成玩家角色的运动动画，使其更加自然和流畅。在电影制作中，可以使用LatentMove来生成特效动画，从而降低制作成本。未来，该技术有望应用于更多领域，例如，远程医疗、教育等。

📄 摘要（原文）

Image-to-video (I2V) generation seeks to produce realistic motion sequences from a single reference image. Although recent methods exhibit strong temporal consistency, they often struggle when dealing with complex, non-repetitive human movements, leading to unnatural deformations. To tackle this issue, we present LatentMove, a DiT-based framework specifically tailored for highly dynamic human animation. Our architecture incorporates a conditional control branch and learnable face/body tokens to preserve consistency as well as fine-grained details across frames. We introduce Complex-Human-Videos (CHV), a dataset featuring diverse, challenging human motions designed to benchmark the robustness of I2V systems. We also introduce two metrics to assess the flow and silhouette consistency of generated videos with their ground truth. Experimental results indicate that LatentMove substantially improves human animation quality--particularly when handling rapid, intricate movements--thereby pushing the boundaries of I2V generation. The code, the CHV dataset, and the evaluation metrics will be available at https://github.com/ --.