REWIND: Real-Time Egocentric Whole-Body Motion Diffusion with Exemplar-Based Identity Conditioning

📄 arXiv: 2504.04956v2 📥 PDF

作者: Jihyun Lee, Weipeng Xu, Alexander Richard, Shih-En Wei, Shunsuke Saito, Shaojie Bai, Te-Li Wang, Minhyuk Sung, Tae-Kyun Kim, Jason Saragih

分类: cs.GR, cs.CV

发布日期: 2025-04-07 (更新: 2025-04-08)

备注: Accepted to CVPR 2025, project page: https://jyunlee.github.io/projects/rewind/

💡 一句话要点

REWIND：基于扩散模型的实时自中心全身运动估计，引入示例身份条件。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 自中心视觉 全身运动估计 扩散模型 实时推理 身份条件

📋 核心要点

  1. 现有自中心全身运动估计方法依赖迭代细化，计算成本高，无法满足实时性需求，且难以捕捉身体和手部运动的内在关联。
  2. REWIND采用级联身体-手部去噪扩散和扩散蒸馏技术，在保证精度的同时，实现了实时和因果的运动估计。
  3. 实验结果表明，REWIND在运动估计质量上显著优于现有方法，并且可以通过姿势示例进行身份条件约束，进一步提升性能。

📝 摘要（中文）

本文提出REWIND（Real-Time Egocentric Whole-Body Motion Diffusion），一种单步扩散模型，用于从自中心图像输入中进行实时、高保真的人体运动估计。现有自中心全身（即身体和手部）运动估计方法由于基于扩散的迭代运动细化，无法实时且非因果，难以捕捉身体和手部姿势之间的相关性。REWIND以完全因果和实时的方式运行。为了实现实时推理，我们引入了（1）级联身体-手部去噪扩散，以快速、前馈的方式有效地建模自中心身体和手部运动之间的相关性，以及（2）扩散蒸馏，从而能够通过单个去噪步骤实现高质量的运动估计。我们的去噪扩散模型基于改进的Transformer架构，旨在因果地建模输出运动，同时增强对未见运动长度的泛化能力。此外，当身份先验可用时，REWIND可选择支持身份条件运动估计。为此，我们提出了一种基于目标身份的一小组姿势示例的新型身份条件方法，从而进一步提高了运动估计质量。通过广泛的实验，我们证明了REWIND在有和没有基于示例的身份条件的情况下，均显著优于现有的基线。

🔬 方法详解

问题定义：论文旨在解决从自中心视角图像中实时、高精度地估计全身（身体和手部）运动的问题。现有基于扩散模型的方法通常需要迭代的运动细化过程，导致计算量大，无法满足实时性要求，并且难以有效建模身体和手部运动之间的复杂关联。

核心思路：论文的核心思路是利用级联扩散模型和扩散蒸馏技术，将迭代的扩散过程转化为单步前馈操作，从而显著提升推理速度。同时，通过级联结构显式地建模身体和手部运动之间的依赖关系，提高运动估计的准确性。此外，引入基于姿势示例的身份条件，进一步提升特定身份的运动估计质量。

技术框架：REWIND的整体框架包含以下几个主要模块：1) 自中心图像特征提取模块（具体实现未知）；2) 级联身体-手部去噪扩散模块，该模块包含两个级联的Transformer网络，分别用于身体和手部运动的去噪；3) 扩散蒸馏模块，用于将多步扩散过程压缩为单步操作；4) 可选的身份条件模块，该模块利用姿势示例提取身份特征，并将其融入到扩散过程中。

关键创新：论文的关键创新在于以下几个方面：1) 提出了级联身体-手部去噪扩散模型，能够高效地建模身体和手部运动之间的相关性；2) 采用了扩散蒸馏技术，将迭代的扩散过程转化为单步操作，实现了实时推理；3) 提出了基于姿势示例的身份条件方法，能够有效利用身份先验信息，提升运动估计质量。

关键设计：REWIND的关键设计包括：1) 级联Transformer网络结构，用于身体和手部运动的去噪；2) 扩散蒸馏的损失函数设计，确保单步操作能够逼近多步扩散的结果；3) 姿势示例的选择策略和身份特征的融合方式（具体细节未知）；4) 为了增强模型对不同长度运动序列的泛化能力，对Transformer架构进行了修改，使其能够因果地建模输出运动。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

REWIND在自中心全身运动估计任务上取得了显著的性能提升。实验结果表明，REWIND在保证实时性的前提下，显著优于现有的基线方法，尤其是在手部运动估计方面。通过引入基于示例的身份条件，REWIND的运动估计质量得到了进一步提升（具体数据未知）。

🎯 应用场景

REWIND具有广泛的应用前景，例如虚拟现实/增强现实(VR/AR)、人机交互、游戏、运动分析和康复训练等领域。该技术可以用于创建更自然、更逼真的虚拟化身，提升用户在虚拟环境中的沉浸感。此外，REWIND还可以用于分析运动员的运动姿势，辅助运动训练，或用于监测患者的康复进度。

📄 摘要（原文）

We present REWIND (Real-Time Egocentric Whole-Body Motion Diffusion), a one-step diffusion model for real-time, high-fidelity human motion estimation from egocentric image inputs. While an existing method for egocentric whole-body (i.e., body and hands) motion estimation is non-real-time and acausal due to diffusion-based iterative motion refinement to capture correlations between body and hand poses, REWIND operates in a fully causal and real-time manner. To enable real-time inference, we introduce (1) cascaded body-hand denoising diffusion, which effectively models the correlation between egocentric body and hand motions in a fast, feed-forward manner, and (2) diffusion distillation, which enables high-quality motion estimation with a single denoising step. Our denoising diffusion model is based on a modified Transformer architecture, designed to causally model output motions while enhancing generalizability to unseen motion lengths. Additionally, REWIND optionally supports identity-conditioned motion estimation when identity prior is available. To this end, we propose a novel identity conditioning method based on a small set of pose exemplars of the target identity, which further enhances motion estimation quality. Through extensive experiments, we demonstrate that REWIND significantly outperforms the existing baselines both with and without exemplar-based identity conditioning.