Robust Human Registration with Body Part Segmentation on Noisy Point Clouds

📄 arXiv: 2504.03602v1 📥 PDF

作者: Kai Lascheit, Daniel Barath, Marc Pollefeys, Leonidas Guibas, Francis Engelmann

分类: cs.CV

发布日期: 2025-04-04

💡 一句话要点

提出一种结合身体部位分割的鲁棒人体注册方法，提升噪声点云下的姿态估计和分割精度。

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 人体注册 点云处理 身体部位分割 SMPL-X模型 姿态估计

📋 核心要点

  1. 真实场景点云数据中的噪声和背景杂乱导致现有的人体网格注册方法精度不足。
  2. 该方法结合身体部位分割信息，指导SMPL-X模型拟合，实现更准确的姿态估计和分割。
  3. 实验表明，该方法在真实数据集上显著提升了姿态估计和分割精度，优于现有方法。

📝 摘要（中文）

本文提出了一种混合方法，将身体部位分割融入到人体网格模型拟合过程中，从而增强人体姿态估计和分割的准确性。该方法首先为每个点云分配身体部位标签，然后利用这些标签指导一个两步SMPL-X模型拟合过程：首先使用身体部位的质心进行初始姿态和方向估计，然后进行点云对齐的全局优化。此外，拟合的人体网格可以反过来优化身体部位标签，从而改进分割效果。在包含噪声和杂乱背景的真实世界数据集InterCap、EgoBody和BEHAVE上的评估表明，该方法在姿态估计和分割精度方面均显著优于现有方法。代码和结果已在项目网站上公开。

🔬 方法详解

问题定义：人体网格模型注册到3D点云是增强现实和人机交互等应用的关键，但真实场景的点云数据通常包含噪声和背景杂乱，导致现有方法的注册精度较低，尤其是在姿态估计和身体部位分割方面表现不佳。现有方法难以有效利用点云中的结构信息，容易受到噪声干扰。

核心思路：该论文的核心思路是将身体部位分割信息融入到人体网格模型（SMPL-X）的拟合过程中。通过首先对点云进行身体部位分割，然后利用分割结果指导SMPL-X模型的姿态估计和优化，从而提高注册的鲁棒性和精度。同时，利用拟合的SMPL-X模型反过来优化身体部位分割结果，形成一个迭代优化的过程。

技术框架：该方法包含以下主要步骤：1) 点云身体部位分割：使用预训练的模型或其它方法对输入点云进行身体部位分割，为每个点云分配身体部位标签。2) 初始姿态估计：基于分割后的身体部位质心，估计SMPL-X模型的初始姿态和方向。3) 全局优化：利用点云和SMPL-X模型之间的距离、法向量等信息，对SMPL-X模型进行全局优化，使其与点云对齐。4) 分割优化：利用拟合的SMPL-X模型，重新评估点云的身体部位标签，优化分割结果。

关键创新：该方法最重要的创新点在于将身体部位分割与人体网格模型拟合相结合，形成一个混合的优化框架。与现有方法相比，该方法能够更有效地利用点云中的结构信息，减少噪声和杂乱背景的影响，从而提高注册的鲁棒性和精度。此外，迭代优化分割和拟合结果的设计也提升了整体性能。

关键设计：在初始姿态估计阶段，使用身体部位质心来指导SMPL-X模型的姿态参数初始化。在全局优化阶段，使用了点到网格的距离、法向量对齐等损失函数，以保证SMPL-X模型与点云的对齐。分割优化阶段，可能使用了基于图割或条件随机场的方法，结合点云特征和SMPL-X模型信息来优化分割结果。具体的参数设置、损失函数权重和网络结构等细节在论文中可能有所描述，但此处未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该方法在InterCap、EgoBody和BEHAVE等真实世界数据集上进行了评估，实验结果表明，该方法在姿态估计和分割精度方面均显著优于现有方法。具体的性能提升幅度未知，但摘要中强调了“显著优于”，表明该方法具有明显的优势。项目网站提供了代码和结果，方便其他研究者进行复现和比较。

🎯 应用场景

该研究成果可应用于增强现实、人机交互、虚拟现实、动画制作、运动分析、康复训练等领域。例如，在增强现实中，可以将虚拟物体准确地叠加到真实人体上；在人机交互中，可以实现更自然的人体姿态识别和控制；在运动分析中，可以精确地跟踪人体运动轨迹。该研究的实际价值在于提高了人体注册的精度和鲁棒性，为相关应用提供了更可靠的基础。

📄 摘要（原文）

Registering human meshes to 3D point clouds is essential for applications such as augmented reality and human-robot interaction but often yields imprecise results due to noise and background clutter in real-world data. We introduce a hybrid approach that incorporates body-part segmentation into the mesh fitting process, enhancing both human pose estimation and segmentation accuracy. Our method first assigns body part labels to individual points, which then guide a two-step SMPL-X fitting: initial pose and orientation estimation using body part centroids, followed by global refinement of the point cloud alignment. Additionally, we demonstrate that the fitted human mesh can refine body part labels, leading to improved segmentation. Evaluations on the cluttered and noisy real-world datasets InterCap, EgoBody, and BEHAVE show that our approach significantly outperforms prior methods in both pose estimation and segmentation accuracy. Code and results are available on our project website: https://segfit.github.io