AJAHR: Amputated Joint Aware 3D Human Mesh Recovery

📄 arXiv: 2509.19939v1 📥 PDF

作者: Hyunjin Cho, Giyun Choi, Jongwon Choi

分类: cs.GR, cs.AI, cs.CV

发布日期: 2025-09-24

备注: 8pages, Project Page: https://chojinie.github.io/project_AJAHR/

💡 一句话要点

提出AJAHR框架，解决截肢个体三维人体网格重建问题。

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 人体网格重建 截肢 姿态估计 深度学习 计算机视觉

📋 核心要点

  1. 现有方法在处理截肢个体时，由于假设标准人体结构，导致重建精度下降，缺乏针对性。
  2. AJAHR框架通过联合训练截肢分类器和网格重建网络，实现对截肢情况的自适应姿态估计。
  3. 提出的A3D合成数据集，为截肢个体三维人体网格重建提供了充足的训练数据，提升模型鲁棒性。

📝 摘要（中文）

现有人体网格重建方法通常假设标准人体结构，忽略了肢体缺失等多种解剖学情况。这种假设在应用于截肢个体时会引入偏差，并且缺乏合适的训练数据集进一步加剧了这一限制。为了解决这个问题，我们提出了截肢关节感知的三维人体网格重建（AJAHR），这是一个自适应的姿态估计框架，可以改善截肢个体的人体网格重建。我们的模型集成了肢体截肢分类器，与网格重建网络联合训练，以检测潜在的截肢情况。我们还引入了Amputee 3D（A3D），这是一个合成数据集，提供了各种截肢姿势，用于稳健的训练。在保持非截肢个体上具有竞争力的性能的同时，我们的方法在截肢个体上实现了最先进的结果。更多资料可在项目网页上找到。

🔬 方法详解

问题定义：现有的人体网格重建方法主要针对完整人体，忽略了截肢等特殊情况，导致在处理截肢个体时精度显著下降。缺乏针对截肢个体的训练数据也是一个重要瓶颈。

核心思路：论文的核心思路是让模型能够自动识别并适应截肢情况。通过引入一个截肢分类器，模型可以判断输入图像中的个体是否缺失肢体，并根据判断结果调整网格重建过程。这样可以避免使用标准人体结构进行重建带来的偏差。

技术框架：AJAHR框架包含两个主要模块：截肢分类器和网格重建网络。截肢分类器用于判断输入图像中的个体是否缺失肢体。网格重建网络则根据截肢分类器的输出，自适应地进行三维人体网格重建。这两个模块是联合训练的，以实现更好的性能。此外，论文还提出了一个合成数据集A3D，用于训练模型。

关键创新：最重要的创新点在于提出了一个截肢感知的框架，能够自动识别并适应截肢情况。与现有方法相比，AJAHR框架不再假设标准人体结构，而是能够根据输入图像中的个体情况进行自适应的网格重建。

关键设计：截肢分类器可以使用任何现有的图像分类网络，例如ResNet。网格重建网络可以使用任何现有的三维人体网格重建网络，例如HMR。关键在于将这两个模块联合训练，并使用A3D数据集进行训练。损失函数包括网格重建损失和截肢分类损失。A3D数据集包含各种截肢姿势，可以帮助模型学习到鲁棒的截肢特征。

📊 实验亮点

AJAHR在截肢个体上的三维人体网格重建性能上取得了显著提升，达到了state-of-the-art水平。同时，在非截肢个体上保持了具有竞争力的性能。A3D数据集的发布为该领域的研究提供了宝贵的数据资源。

🎯 应用场景

该研究成果可应用于虚拟现实、增强现实、康复医学等领域。例如，可以为截肢患者提供更真实的虚拟化身，辅助康复训练，或用于开发更智能的假肢控制系统。此外，该技术还可以扩展到其他身体结构异常情况的人体建模。

📄 摘要（原文）

Existing human mesh recovery methods assume a standard human body structure, overlooking diverse anatomical conditions such as limb loss. This assumption introduces bias when applied to individuals with amputations - a limitation further exacerbated by the scarcity of suitable datasets. To address this gap, we propose Amputated Joint Aware 3D Human Mesh Recovery (AJAHR), which is an adaptive pose estimation framework that improves mesh reconstruction for individuals with limb loss. Our model integrates a body-part amputation classifier, jointly trained with the mesh recovery network, to detect potential amputations. We also introduce Amputee 3D (A3D), which is a synthetic dataset offering a wide range of amputee poses for robust training. While maintaining competitive performance on non-amputees, our approach achieves state-of-the-art results for amputated individuals. Additional materials can be found at the project webpage.