Divide and Fuse: Body Part Mesh Recovery from Partially Visible Human Images

📄 arXiv: 2407.09694v1 📥 PDF

作者: Tianyu Luan, Zhongpai Gao, Luyuan Xie, Abhishek Sharma, Hao Ding, Benjamin Planche, Meng Zheng, Ange Lou, Terrence Chen, Junsong Yuan, Ziyan Wu

分类: cs.CV

发布日期: 2024-07-12

备注: Accepted by ECCV2024

💡 一句话要点

提出Divide and Fuse方法，解决部分可见人体图像的3D网格重建问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 人体网格重建 部分可见性 遮挡处理 Divide and Fuse 人体部件参数模型

📋 核心要点

  1. 传统人体网格重建方法依赖全身可见，在部分遮挡或截断情况下性能显著下降。
  2. 提出Divide and Fuse策略，将人体分解为独立部件进行重建，再融合以提升鲁棒性。
  3. 构建包含部分可见人体图像的基准数据集，实验证明该方法在遮挡情况下优于传统方法。

📝 摘要（中文）

本文提出了一种新颖的自底向上的人体网格重建方法，专门用于解决输入图像中部分可见和遮挡带来的挑战。传统的自顶向下方法依赖于像SMPL这样的全身参数模型，当只有一小部分人体可见时会失效，因为它们需要大部分人体可见才能进行准确的网格重建。为了克服这个限制，我们的方法采用了一种“Divide and Fuse (D&F)”策略，先独立地重建人体各个部分，然后再将它们融合，从而确保了对遮挡的鲁棒性。我们设计了人体部件参数模型(HPPM)，这些模型独立地从几个形状和全局位置参数重建网格，而无需部件间的依赖性。然后，一个专门设计的融合模块无缝地整合重建的部件，即使只有少数部件可见。我们利用大量的ground-truth SMPL数据来训练我们的参数网格模型。为了方便我们方法的训练和评估，我们建立了基准数据集，其中包含部分可见的人体图像和HPPM注释。在这些基准数据集上进行的实验证明了我们的D&F方法的有效性，特别是在大量不可见的情况下，传统方法难以保持重建质量。

🔬 方法详解

问题定义：论文旨在解决人体图像中由于部分遮挡或截断导致传统方法无法准确进行3D网格重建的问题。现有方法，如基于SMPL模型的自顶向下方法，依赖于人体大部分可见，当只有部分人体可见时，重建效果会显著下降。这些方法难以处理遮挡和截断带来的信息缺失，导致重建结果不准确甚至失败。

核心思路：论文的核心思路是将人体分解为多个独立的部件，分别进行参数化建模和重建，然后将这些重建的部件融合起来，形成完整的人体网格。这种“分而治之”的策略可以有效地应对部分可见的情况，因为即使某些部件被遮挡或截断，其他可见部件仍然可以被准确重建，从而保证整体重建的鲁棒性。

技术框架：整体框架包含三个主要模块：1) 人体部件参数模型(HPPM)的训练：使用大量SMPL数据训练独立的HPPM，每个HPPM负责重建一个特定的人体部件。2) 部件重建：对于给定的输入图像，使用训练好的HPPM独立地重建每个可见的人体部件。3) 部件融合：使用一个专门设计的融合模块将重建的部件无缝地整合在一起，生成完整的人体网格。

关键创新：论文的关键创新在于提出了Divide and Fuse (D&F)策略和人体部件参数模型(HPPM)。D&F策略通过将人体分解为独立部件进行重建，有效地解决了部分可见性问题。HPPM允许独立地从少量参数重建每个部件的网格，无需部件间的依赖性，从而提高了重建的灵活性和鲁棒性。与现有方法相比，D&F策略和HPPM的结合使得该方法在处理部分遮挡和截断的人体图像时具有显著优势。

关键设计：HPPM的设计包括选择合适的参数化模型来表示每个部件的形状和姿态，以及设计有效的损失函数来训练这些模型。融合模块的设计需要考虑如何将不同部件的重建结果无缝地整合在一起，例如，可以使用加权平均或基于学习的方法来融合不同部件的信息。此外，论文还构建了一个包含部分可见人体图像的基准数据集，并提供了HPPM注释，这为该领域的研究提供了宝贵的数据资源。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在处理部分可见人体图像时，显著优于传统的基于SMPL模型的自顶向下方法。在包含大量遮挡的基准数据集上，该方法能够保持较高的重建精度，而传统方法的性能则显著下降。具体性能提升数据在论文中进行了详细的量化分析。

🎯 应用场景

该研究成果可应用于虚拟现实、增强现实、游戏、动画制作、人体姿态估计、运动分析、智能监控等领域。在这些应用中，人体常常会受到遮挡或截断，该方法能够提供更准确和鲁棒的人体网格重建，从而提升用户体验和系统性能。未来，该方法可以进一步扩展到处理更复杂的人体姿态和服装，并与其他感知技术相结合，实现更智能的人机交互。

📄 摘要（原文）

We introduce a novel bottom-up approach for human body mesh reconstruction, specifically designed to address the challenges posed by partial visibility and occlusion in input images. Traditional top-down methods, relying on whole-body parametric models like SMPL, falter when only a small part of the human is visible, as they require visibility of most of the human body for accurate mesh reconstruction. To overcome this limitation, our method employs a "Divide and Fuse (D&F)" strategy, reconstructing human body parts independently before fusing them, thereby ensuring robustness against occlusions. We design Human Part Parametric Models (HPPM) that independently reconstruct the mesh from a few shape and global-location parameters, without inter-part dependency. A specially designed fusion module then seamlessly integrates the reconstructed parts, even when only a few are visible. We harness a large volume of ground-truth SMPL data to train our parametric mesh models. To facilitate the training and evaluation of our method, we have established benchmark datasets featuring images of partially visible humans with HPPM annotations. Our experiments, conducted on these benchmark datasets, demonstrate the effectiveness of our D&F method, particularly in scenarios with substantial invisibility, where traditional approaches struggle to maintain reconstruction quality.