Video Inference for Human Mesh Recovery with Vision Transformer

📄 arXiv: 2507.08981v1 📥 PDF

作者: Hanbyel Cho, Jaesung Ahn, Yooshin Cho, Junmo Kim

分类: cs.CV

发布日期: 2025-07-11

备注: Accepted to IEEE FG 2023

💡 一句话要点

提出HMR-ViT，利用时序和运动学信息提升视频人体网格重建精度

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 人体网格重建 视频理解 Vision Transformer 时序建模 运动学约束

📋 核心要点

  1. 现有HMR方法未能有效融合时序信息和运动学关系，导致重建精度受限。
  2. HMR-ViT通过构建时序-运动学特征图像，并利用Vision Transformer进行编码，从而融合两种信息。
  3. 实验表明，HMR-ViT在3DPW和Human3.6M数据集上取得了具有竞争力的性能。

📝 摘要（中文）

人体网格重建（HMR）是一项具有挑战性的任务，因为该任务本身存在固有的模糊性。现有的HMR方法通常利用时序信息或运动学关系来提高精度，但没有方法同时使用两者。因此，我们提出了“基于Vision Transformer的视频人体网格重建（HMR-ViT）”，它可以同时考虑时序和运动学信息。在HMR-ViT中，我们使用图像编码器从视频帧中提取特征向量，并构建一个时序-运动学特征图像。在生成特征图像时，我们使用通道重排矩阵（CRM），以便相似的运动学特征可以在空间上彼此靠近。然后，使用Vision Transformer进一步编码特征图像，并最终使用回归网络推断SMPL姿势和形状参数。在3DPW和Human3.6M数据集上的大量评估表明，我们的方法在HMR中取得了具有竞争力的性能。

🔬 方法详解

问题定义：人体网格重建（HMR）旨在从图像或视频中估计人体三维网格模型。现有方法通常单独利用时序信息（例如，相邻帧之间的运动一致性）或运动学关系（例如，人体关节之间的约束），而忽略了两者之间的互补性。这导致在遮挡、快速运动等复杂场景下，重建精度下降。

核心思路：HMR-ViT的核心思路是将时序信息和运动学关系融合到一个统一的特征表示中，然后利用Vision Transformer强大的特征提取能力进行人体网格参数的回归。通过精心设计的特征图像和Transformer结构，模型能够同时感知时序上下文和人体结构约束，从而提高重建精度。

技术框架：HMR-ViT的整体框架包括以下几个主要模块：1) 图像编码器：从视频帧中提取视觉特征。2) 时序-运动学特征图像构建：将提取的特征向量通过通道重排矩阵（CRM）排列成特征图像，其中CRM的设计使得相似的运动学特征在空间上相邻。3) Vision Transformer编码器：对特征图像进行编码，提取融合了时序和运动学信息的特征表示。4) 回归网络：根据Transformer的输出，回归SMPL模型的姿势和形状参数。

关键创新：HMR-ViT的关键创新在于：1) 提出了时序-运动学特征图像的概念，有效地融合了时序信息和运动学关系。2) 设计了通道重排矩阵（CRM），使得相似的运动学特征在特征图像上空间相邻，有利于Transformer学习人体结构约束。3) 将Vision Transformer引入到视频HMR任务中，利用其强大的特征提取能力提升重建精度。

关键设计：通道重排矩阵（CRM）的设计是关键。CRM的具体参数（如何将通道进行重排）需要根据人体运动学结构进行精心设计，使得相关的关节特征在空间上尽可能接近。损失函数方面，可以使用SMPL参数的L1或L2损失，以及可选的对抗损失来提高生成网格的真实感。Vision Transformer的层数、头数等超参数需要根据数据集大小和计算资源进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HMR-ViT在3DPW和Human3.6M数据集上进行了评估，实验结果表明，该方法取得了具有竞争力的性能。具体来说，HMR-ViT在某些指标上优于现有的基于时序信息或运动学关系的方法。虽然论文中没有给出具体的数值提升，但强调了其在融合时序和运动学信息方面的优势。

🎯 应用场景

HMR-ViT在虚拟现实、增强现实、游戏、动画制作、运动分析、人机交互等领域具有广泛的应用前景。例如，可以用于创建逼真的虚拟化身，实现自然的人机交互，分析运动员的运动姿势，以及辅助康复训练等。未来，该方法可以进一步扩展到多人场景，并与其他感知技术（如语音识别、手势识别）相结合，实现更智能的人体理解。

📄 摘要（原文）

Human Mesh Recovery (HMR) from an image is a challenging problem because of the inherent ambiguity of the task. Existing HMR methods utilized either temporal information or kinematic relationships to achieve higher accuracy, but there is no method using both. Hence, we propose "Video Inference for Human Mesh Recovery with Vision Transformer (HMR-ViT)" that can take into account both temporal and kinematic information. In HMR-ViT, a Temporal-kinematic Feature Image is constructed using feature vectors obtained from video frames by an image encoder. When generating the feature image, we use a Channel Rearranging Matrix (CRM) so that similar kinematic features could be located spatially close together. The feature image is then further encoded using Vision Transformer, and the SMPL pose and shape parameters are finally inferred using a regression network. Extensive evaluation on the 3DPW and Human3.6M datasets indicates that our method achieves a competitive performance in HMR.