Latent Dataset Distillation for Human Motion Prediction

📄 arXiv: 2609.26430v1 📥 PDF

作者: Ge Tian, Guang Li, Takahiro Ogawa, Miki Haseyama

分类: cs.CV

发布日期: 2026-09-22

💡 一句话要点

提出潜在数据蒸馏框架以解决人类运动预测中的不稳定性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 数据集蒸馏 人类运动预测 变分自编码器 运动先验 梯度匹配 合成运动 深度学习

📋 核心要点

  1. 现有的人类运动预测方法在处理高维和结构耦合的运动数据时，常常导致合成运动不合理和不稳定。
  2. 本文提出了一种潜在数据蒸馏框架，通过学习的运动先验来规范蒸馏过程，从而提高合成运动的合理性。
  3. 在Human3.6M、CMU和3DPW数据集上的实验结果显示，所提框架在30个评估设置中有27个超越了直接的GM方法。

📝 摘要（中文）

数据集蒸馏（DD）将大型训练集压缩为紧凑的合成集，同时保留下游训练的实用性。尽管DD在图像和时间序列预测中得到了广泛研究，但在人体运动预测中的应用仍然较少。现有方法在运动空间中进行梯度匹配（GM），优化多个相关变量，但缺乏对姿态合理性和时间动态的先验知识，常导致合成运动不合理且不稳定。为了解决这一限制，本文提出了一种潜在数据蒸馏框架，通过学习的运动先验来规范蒸馏过程。实验表明，该框架在多个评估设置中优于直接的GM，并在定性比较中生成了更合理的合成运动。

🔬 方法详解

问题定义：本文旨在解决现有数据集蒸馏方法在人体运动预测中的不稳定性和不合理性问题。现有方法在运动空间中进行梯度匹配，缺乏对姿态合理性和时间动态的先验知识，导致合成运动的质量下降。

核心思路：本文提出的潜在数据蒸馏框架通过引入学习的运动先验，规范蒸馏过程，从而提高合成运动的合理性和稳定性。该框架首先使用残差量化变分自编码器（RVQ-VAE）对运动进行压缩，然后通过冻结的量化器和解码器更新可学习的潜在库。

技术框架：整体架构包括三个主要模块：首先，使用RVQ-VAE对运动数据进行压缩；其次，冻结的量化器和解码器用于更新潜在库；最后，残差量化逐步优化潜在近似，缓解单阶段向量量化的表示瓶颈。

关键创新：本文的主要创新在于引入了学习的运动先验来规范数据蒸馏过程，与传统的梯度匹配方法相比，能够有效提升合成运动的合理性和稳定性。

关键设计：在技术细节上，采用了残差量化机制以优化潜在表示，并通过预训练的解码器限制合成运动在其输出空间内，从而确保生成的运动在姿态和时间动态上更为合理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提框架在30个评估设置中有27个超越了直接的梯度匹配方法，并在每个设置中对随机子集均表现出更优的性能，合成运动在定性比较中也更为合理。

🎯 应用场景

该研究的潜在应用领域包括动画制作、虚拟现实、机器人控制等。通过提高人类运动预测的准确性和合理性，可以在这些领域中实现更自然的交互和更真实的运动模拟，具有重要的实际价值和未来影响。

📄 摘要（原文）

Dataset distillation (DD) compresses a large training set into a compact synthetic set while preserving downstream training utility. Although DD has been widely studied for images and recently extended to time-series forecasting, its application to human motion prediction remains largely unexplored. Human motion is high-dimensional and structurally coupled, and gradient matching (GM) in the original motion space optimizes many correlated variables without a prior on pose plausibility or temporal dynamics, which frequently yields implausible and unstable synthetic motions. To address this limitation, we propose a latent DD framework that regularizes distillation with a learned motion prior. Motions are first compressed by a residual-quantized variational autoencoder (RVQ-VAE), and distillation then updates only a learnable latent bank through the frozen quantizer and decoder. The pretrained decoder restricts synthetic motions to its output space, while residual quantization progressively refines the latent approximation across multiple codebooks and alleviates the representational bottleneck of single-stage vector quantization. Experiments on Human3.6M, CMU, and 3DPW with two prediction backbones show that the proposed framework outperforms direct GM in 27 of 30 evaluated settings and random subsets in every setting, and produces visibly more plausible synthetic motions in qualitative comparisons.