Learning Efficient and Generalizable Human Representation with Human Gaussian Model

📄 arXiv: 2507.18758v1 📥 PDF

作者: Yifan Liu, Shengjun Zhang, Chensheng Dai, Yang Chen, Hao Liu, Chen Li, Yueqi Duan

分类: cs.CV

发布日期: 2025-07-24

💡 一句话要点

提出Human Gaussian Graph，高效生成可动画的人体高斯模型

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人体建模 3D高斯模型 图神经网络 可动画Avatar SMPL网格

📋 核心要点

  1. 现有方法在从视频中建模可动画人体时，通常需要针对每个实例进行优化，泛化性较差，且忽略了帧间高斯模型的关联。
  2. 本文提出Human Gaussian Graph，通过建模高斯模型与SMPL网格的连接，利用所有帧的信息恢复可动画人体表示。
  3. 实验表明，该方法在新的视角合成和新的姿势动画任务上，展现了更高的效率和更好的泛化能力。

📝 摘要（中文）

本文旨在解决从视频中建模可动画人体Avatar这一长期存在的挑战性问题。传统方法通常需要针对每个实例进行优化，而最近的前馈方法则通过可学习网络生成3D高斯模型。然而，这些方法独立地预测每一帧的高斯模型，未能充分捕捉来自不同时间戳的高斯模型之间的关系。为了解决这个问题，我们提出了Human Gaussian Graph来建模预测的高斯模型与人体SMPL网格之间的连接，从而可以利用来自所有帧的信息来恢复可动画的人体表示。具体来说，Human Gaussian Graph包含双层结构，其中高斯模型作为第一层节点，网格顶点作为第二层节点。基于这种结构，我们进一步提出了节点内操作来聚合连接到一个网格顶点的各种高斯模型，以及节点间操作来支持网格节点邻居之间的消息传递。在新的视角合成和新的姿势动画上的实验结果证明了我们方法的效率和泛化性。

🔬 方法详解

问题定义：论文旨在解决从视频中高效且泛化地建模可动画人体Avatar的问题。现有方法，特别是基于前馈网络的方法，虽然避免了per-instance优化，但它们独立预测每一帧的高斯模型，忽略了帧间高斯模型的关联性，导致时间一致性较差，难以生成高质量的动画。

核心思路：论文的核心思路是构建一个Human Gaussian Graph，将每一帧预测的3D高斯模型与人体SMPL网格连接起来。通过图结构，可以有效地聚合来自不同帧的信息，并利用SMPL网格的先验知识来约束高斯模型的生成，从而提高动画的质量和泛化能力。

技术框架：整体框架包含以下几个主要步骤：1) 从视频帧中提取特征；2) 使用前馈网络预测每一帧的3D高斯模型；3) 构建Human Gaussian Graph，其中高斯模型作为第一层节点，SMPL网格顶点作为第二层节点；4) 在Human Gaussian Graph上进行消息传递，聚合来自不同帧的信息；5) 使用聚合后的信息渲染人体Avatar。

关键创新：论文的关键创新在于提出了Human Gaussian Graph，将高斯模型和SMPL网格连接起来，从而可以利用图神经网络进行信息聚合和消息传递。这种方法能够有效地捕捉帧间高斯模型的关联性，并利用SMPL网格的先验知识来约束高斯模型的生成。与现有方法相比，该方法能够生成更高质量、更具时间一致性的动画。

关键设计：Human Gaussian Graph包含双层结构，第一层是高斯模型节点，第二层是SMPL网格顶点节点。论文提出了intra-node operation来聚合连接到一个网格顶点的各种高斯模型的信息，以及inter-node operation来支持网格节点邻居之间的消息传递。损失函数可能包含重建损失、正则化损失等，以保证生成的高斯模型的质量和SMPL网格的形状。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在新的视角合成和新的姿势动画任务上进行了实验，结果表明，所提出的方法能够生成更高质量、更具时间一致性的动画。具体的性能数据（如PSNR、SSIM等）和对比基线（如其他基于高斯模型的方法）需要在论文中查找。实验结果证明了该方法的效率和泛化性。

🎯 应用场景

该研究成果可应用于虚拟现实、增强现实、游戏、电影制作等领域，实现逼真且可控的虚拟人生成和动画。例如，可以用于创建个性化的虚拟化身，或者用于生成高质量的电影特效。未来，该技术有望进一步发展，实现更加逼真和自然的虚拟人交互。

📄 摘要（原文）

Modeling animatable human avatars from videos is a long-standing and challenging problem. While conventional methods require per-instance optimization, recent feed-forward methods have been proposed to generate 3D Gaussians with a learnable network. However, these methods predict Gaussians for each frame independently, without fully capturing the relations of Gaussians from different timestamps. To address this, we propose Human Gaussian Graph to model the connection between predicted Gaussians and human SMPL mesh, so that we can leverage information from all frames to recover an animatable human representation. Specifically, the Human Gaussian Graph contains dual layers where Gaussians are the first layer nodes and mesh vertices serve as the second layer nodes. Based on this structure, we further propose the intra-node operation to aggregate various Gaussians connected to one mesh vertex, and inter-node operation to support message passing among mesh node neighbors. Experimental results on novel view synthesis and novel pose animation demonstrate the efficiency and generalization of our method.