Geometric Neural Distance Fields for Learning Human Motion Priors

📄 arXiv: 2509.09667v1 📥 PDF

作者: Zhengdi Yu, Simone Foti, Linguang Zhang, Amy Zhao, Cem Keskin, Stefanos Zafeiriou, Tolga Birdal

分类: cs.CV

发布日期: 2025-09-11

备注: 8 pages

💡 一句话要点

提出神经黎曼运动场（NRMF），用于学习鲁棒、时序一致且物理可信的人体运动先验。

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 人体运动先验 神经距离场 运动恢复 几何深度学习 运动生成

📋 核心要点

  1. 现有基于VAE或扩散模型的运动先验方法，在时序一致性和物理合理性方面存在不足。
  2. NRMF通过在神经距离场的零水平集上显式建模姿态、速度和加速度动力学，学习高阶运动先验。
  3. 实验表明，NRMF在运动去噪、插值和从部分观测恢复运动等任务上，性能显著优于现有方法。

📝 摘要（中文）

本文提出了一种新颖的3D生成式人体运动先验——神经黎曼运动场（NRMF），它能够实现鲁棒、时序一致且物理上合理的3D运动恢复。与现有的基于VAE或扩散模型的方法不同，我们的高阶运动先验显式地在神经距离场（NDF）的零水平集上建模人体运动，这些NDF对应于姿态、过渡（速度）和加速度动力学。我们的框架是严谨的，因为我们的NDF构建在关节旋转、角速度和角加速度的乘积空间上，尊重了底层关节的几何结构。此外，我们还引入了：（i）一种新颖的自适应步长混合算法，用于投影到合理的运动集合上；（ii）一种新颖的几何积分器，用于在测试时优化和生成过程中“展开”真实的运动轨迹。实验表明，经过AMASS数据集训练的NRMF在多种输入模态和各种任务（从去噪到运动插值以及拟合到部分2D/3D观测）中都表现出显著且一致的提升。

🔬 方法详解

问题定义：现有的人体运动先验方法，例如基于VAE或扩散模型的方法，难以保证生成运动的时序一致性和物理合理性。这些方法通常缺乏对底层关节几何结构的显式建模，导致生成的运动不自然或违反物理定律。因此，需要一种能够显式建模运动动力学和关节几何结构的运动先验。

核心思路：本文的核心思路是将人体运动建模为一系列神经距离场（NDF）的零水平集。每个NDF对应于姿态、速度和加速度等运动动力学。通过在关节旋转、角速度和角加速度的乘积空间上构建NDF，可以显式地尊重底层关节的几何结构。这种方法能够生成时序一致且物理上合理的运动。

技术框架：NRMF的整体框架包括以下几个主要模块：1) NDF构建模块：使用神经网络学习姿态、速度和加速度的NDF。2) 运动投影模块：使用自适应步长混合算法将任意运动投影到NDF的零水平集上，确保运动的合理性。3) 运动生成模块：使用几何积分器从NDF中“展开”真实的运动轨迹。在训练阶段，使用AMASS数据集训练NDF。在测试阶段，可以使用训练好的NDF进行运动去噪、插值和从部分观测恢复运动等任务。

关键创新：NRMF的关键创新在于：1) 显式地在NDF的零水平集上建模人体运动，能够更好地捕捉运动动力学和关节几何结构。2) 提出了一种自适应步长混合算法，用于将任意运动投影到合理的运动集合上。3) 提出了一种几何积分器，用于从NDF中生成真实的运动轨迹。与现有方法相比，NRMF能够生成更鲁棒、时序一致且物理上合理的运动。

关键设计：NDF使用多层感知机（MLP）实现，输入为关节旋转、角速度和角加速度，输出为到运动流形的距离。损失函数包括距离损失和正则化项，用于约束NDF的形状和光滑性。自适应步长混合算法根据当前运动点到NDF零水平集的距离动态调整步长，以提高投影效率和精度。几何积分器使用李群积分方法，保证生成的运动轨迹在关节空间的流形上。

📊 实验亮点

在AMASS数据集上训练的NRMF在多个任务上表现出显著的性能提升。例如，在运动去噪任务中，NRMF能够有效地去除噪声并恢复原始运动，其性能优于现有的基于VAE和扩散模型的方法。在运动插值任务中，NRMF能够生成平滑且自然的过渡动画。在从部分观测恢复运动任务中，NRMF能够准确地估计缺失的运动信息。

🎯 应用场景

NRMF可应用于各种人体运动相关的任务，例如运动捕捉数据的去噪和修复、运动插值、从部分2D/3D观测中恢复完整运动、以及生成逼真的人体动画。该技术在虚拟现实、游戏开发、机器人控制和运动分析等领域具有广泛的应用前景。

📄 摘要（原文）

We introduce Neural Riemannian Motion Fields (NRMF), a novel 3D generative human motion prior that enables robust, temporally consistent, and physically plausible 3D motion recovery. Unlike existing VAE or diffusion-based methods, our higher-order motion prior explicitly models the human motion in the zero level set of a collection of neural distance fields (NDFs) corresponding to pose, transition (velocity), and acceleration dynamics. Our framework is rigorous in the sense that our NDFs are constructed on the product space of joint rotations, their angular velocities, and angular accelerations, respecting the geometry of the underlying articulations. We further introduce: (i) a novel adaptive-step hybrid algorithm for projecting onto the set of plausible motions, and (ii) a novel geometric integrator to "roll out" realistic motion trajectories during test-time-optimization and generation. Our experiments show significant and consistent gains: trained on the AMASS dataset, NRMF remarkably generalizes across multiple input modalities and to diverse tasks ranging from denoising to motion in-betweening and fitting to partial 2D / 3D observations.