AJAHR: Amputated Joint Aware 3D Human Mesh Recovery

📄 arXiv: 2509.19939v1 📥 PDF

作者: Hyunjin Cho, Giyun Choi, Jongwon Choi

分类: cs.GR, cs.AI, cs.CV

发布日期: 2025-09-24

备注: 8pages, Project Page: https://chojinie.github.io/project_AJAHR/

💡 一句话要点

提出AJAHR框架，解决截肢个体三维人体网格重建难题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 三维人体网格重建 截肢感知 姿态估计 自适应学习 合成数据集

📋 核心要点

  1. 现有三维人体网格重建方法对截肢等非标准人体结构支持不足，导致重建精度下降。
  2. AJAHR框架通过联合训练截肢分类器和网格重建网络，实现对截肢情况的自适应姿态估计。
  3. 提出的A3D合成数据集包含丰富的截肢姿势，有效提升了模型在截肢个体上的重建性能。

📝 摘要（中文）

现有人体网格重建方法通常假设标准的身体结构，忽略了肢体缺失等多种解剖学条件。这种假设在应用于截肢个体时会引入偏差，而相关数据集的稀缺性进一步加剧了这一限制。为了解决这个问题，我们提出了截肢关节感知的三维人体网格重建（AJAHR），这是一个自适应的姿态估计框架，可以改善截肢个体的网格重建效果。我们的模型集成了肢体截肢分类器，与网格重建网络联合训练，以检测潜在的截肢情况。我们还引入了Amputee 3D（A3D），这是一个合成数据集，提供了各种截肢姿势，用于稳健的训练。在保持非截肢个体上具有竞争力的性能的同时，我们的方法在截肢个体上取得了最先进的结果。更多资料可在项目网页上找到。

🔬 方法详解

问题定义：现有的人体网格重建方法主要针对完整人体设计，忽略了截肢等情况，导致在处理截肢个体时精度显著下降。缺乏包含多样化截肢姿势的数据集进一步限制了相关研究的进展。因此，需要一种能够感知截肢情况并进行自适应调整的网格重建方法。

核心思路：AJAHR的核心思路是让模型能够自动检测并适应截肢情况。通过联合训练一个截肢分类器和网格重建网络，模型可以学习到截肢部位的特征，并调整姿态估计和网格重建过程，从而提高截肢个体的重建精度。

技术框架：AJAHR框架主要包含两个模块：截肢分类器和网格重建网络。首先，输入图像经过截肢分类器，判断是否存在截肢以及截肢的部位。然后，根据截肢分类器的结果，网格重建网络调整姿态估计，并生成最终的三维人体网格模型。这两个模块是联合训练的，以实现端到端的优化。此外，A3D数据集用于训练模型，提高其在截肢个体上的泛化能力。

关键创新：AJAHR的关键创新在于提出了一个截肢感知的自适应姿态估计框架。通过联合训练截肢分类器和网格重建网络，模型能够自动检测并适应截肢情况，从而显著提高了截肢个体的重建精度。此外，A3D数据集的引入也为相关研究提供了宝贵的数据资源。

关键设计：截肢分类器可以使用现有的图像分类网络，例如ResNet等。网格重建网络可以使用现有的基于回归或生成的方法，例如HMR或SPIN等。损失函数包括网格重建损失、姿态估计损失和截肢分类损失。A3D数据集包含大量的合成截肢人体模型，并提供了相应的姿态和网格标注。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

AJAHR在截肢个体上的三维人体网格重建精度显著优于现有方法，实现了state-of-the-art的结果。在保持非截肢个体上具有竞争力的性能的同时，AJAHR在截肢个体上的性能提升尤为明显，证明了其有效性。A3D数据集的发布为相关研究提供了重要的数据支持。

🎯 应用场景

AJAHR框架在医疗康复、虚拟现实、人机交互等领域具有广泛的应用前景。例如，可以用于辅助假肢设计和评估，为截肢患者提供个性化的康复方案。在虚拟现实中，可以创建更逼真的截肢角色，增强用户体验。在人机交互中，可以实现对截肢用户的自然交互，提高交互效率。

📄 摘要（原文）

Existing human mesh recovery methods assume a standard human body structure, overlooking diverse anatomical conditions such as limb loss. This assumption introduces bias when applied to individuals with amputations - a limitation further exacerbated by the scarcity of suitable datasets. To address this gap, we propose Amputated Joint Aware 3D Human Mesh Recovery (AJAHR), which is an adaptive pose estimation framework that improves mesh reconstruction for individuals with limb loss. Our model integrates a body-part amputation classifier, jointly trained with the mesh recovery network, to detect potential amputations. We also introduce Amputee 3D (A3D), which is a synthetic dataset offering a wide range of amputee poses for robust training. While maintaining competitive performance on non-amputees, our approach achieves state-of-the-art results for amputated individuals. Additional materials can be found at the project webpage.