ResiHMR: Residual-Limb Aware Single-Image 3D Human Mesh Recovery for Individuals with Limb Loss

📄 arXiv: 2604.28025v1 📥 PDF

作者: Jiaying Ying, Heming Du, Kaihao Zhang, Sean M. Tweedy, Xin Yu

分类: cs.CV

发布日期: 2026-04-30

备注: Highlight in CVPR 2026. Project at https://akitaraphael.github.io/ResiHMR/

💡 一句话要点

ResiHMR：针对肢体缺失个体的残肢感知单图3D人体网格重建

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 人体网格重建 肢体缺失 残肢建模 拓扑自适应 单图重建

📋 核心要点

  1. 现有单图人体网格重建方法依赖完整肢体先验，无法有效处理肢体缺失个体，导致重建质量下降。
  2. ResiHMR通过引入残肢关键点，并设计拓扑自适应优化和残肢重建模块，实现残肢表面的显式重建。
  3. 实验表明，ResiHMR在肢体缺失数据集上显著提升了重建质量，降低了完整关节和残肢的2D MPJPE。

📝 摘要（中文）

单图人体网格重建提供了一种紧凑的、以人为中心的3D表示，支持分析、动画、AR/VR、康复和人机交互。然而，现有系统通常基于完整肢体的先验知识，在处理肢体缺失个体时性能下降，因为固定拓扑模型无法表示残肢。本文提出了ResiHMR，一个残肢感知的单图3D人体建模框架。ResiHMR采用残肢关键点，并引入两个组件：（i）拓扑自适应的残差锚点-因子优化模块，将估计约束到解剖学上有效的结构的观测运动子图；（ii）基于几何的残肢重建模块，估计残肢边界和凸肢体末端几何形状。这些组件引入了拓扑感知优化和显式末端几何形状，作为非标准肢体解剖结构下人体网格重建的工具。与固定拓扑中的关节移除方法不同，ResiHMR显式地重建残肢表面，并将优化与肢体缺失拓扑对齐，这更好地匹配了假肢生物力学和实际使用。据我们所知，这是第一个显式重建残肢表面并为肢体缺失个体执行拓扑自适应优化的单图HMR系统。在真实世界肢体缺失图像的精选数据集上，ResiHMR提高了SMPLify-X和HSMR骨干网络下的重建质量，使用SMPLify-X将完整关节2D MPJPE从41.32降低到37.40，使用HSMR将残肢2D MPJPE从73.61降低到23.19。

🔬 方法详解

问题定义：现有单图人体网格重建方法在处理肢体缺失个体时表现不佳。这些方法通常依赖于完整肢体的先验知识，使用固定拓扑的人体模型，无法准确表示残肢的形状和结构。这导致重建结果与实际情况不符，限制了其在康复、假肢设计等领域的应用。

核心思路：ResiHMR的核心思路是显式地建模残肢的几何形状和拓扑结构，并将其融入到人体网格重建过程中。通过引入残肢关键点，并设计拓扑自适应的优化方法，使得模型能够更好地适应肢体缺失个体的特殊情况。这种方法避免了直接移除关节的策略，而是通过重建残肢表面来更准确地表示人体。

技术框架：ResiHMR的整体框架包括以下几个主要模块： 1. 残肢关键点检测：检测图像中残肢的关键点，为后续的残肢重建提供几何约束。 2. 拓扑自适应残差锚点-因子优化模块：根据检测到的残肢关键点，构建一个拓扑自适应的运动子图，并在此基础上进行优化，约束估计结果符合解剖学结构。 3. 基于几何的残肢重建模块：利用残肢关键点信息，估计残肢的边界和末端几何形状，实现残肢表面的显式重建。 整个流程首先进行残肢关键点检测，然后利用这些关键点进行拓扑自适应优化和残肢重建，最终得到完整的人体网格模型。

关键创新：ResiHMR的关键创新在于： 1. 残肢感知：首次将残肢信息显式地融入到单图人体网格重建中，使得模型能够更好地处理肢体缺失个体。 2. 拓扑自适应优化：提出了一种拓扑自适应的优化方法，能够根据残肢的拓扑结构动态调整优化过程，避免了固定拓扑模型的局限性。 3. 残肢表面重建：显式地重建残肢的表面几何形状，而不是简单地移除关节，更准确地表示了残肢的结构。

关键设计： 1. 残肢关键点：定义了一组残肢关键点，用于描述残肢的形状和位置。 2. 拓扑自适应运动子图：根据残肢关键点构建运动子图，用于约束优化过程。 3. 残肢末端几何形状估计：使用凸包算法估计残肢末端的几何形状。 4. 损失函数：设计了包括2D关键点损失、3D关节位置损失、形状损失等多种损失函数，用于优化模型参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ResiHMR在作者构建的肢体缺失数据集上进行了评估，实验结果表明，ResiHMR显著提高了重建质量。具体来说，使用SMPLify-X作为骨干网络时，完整关节的2D MPJPE从41.32降低到37.40；使用HSMR作为骨干网络时，残肢的2D MPJPE从73.61大幅降低到23.19。这些结果表明，ResiHMR能够有效地重建残肢表面，并提高整体的人体网格重建精度。

🎯 应用场景

ResiHMR在康复医学、假肢设计、人机交互等领域具有广泛的应用前景。它可以用于评估残肢的健康状况，辅助假肢的设计和制造，以及开发更自然、更流畅的人机交互系统。此外，该技术还可以应用于虚拟现实和增强现实等领域，为肢体缺失个体提供更具沉浸感和互动性的体验。

📄 摘要（原文）

Single-image human mesh recovery provides a compact 3D, person-centric representation that supports analysis, animation, AR and VR, rehabilitation, and human-computer interaction. However, prevailing systems impose an intact-limb prior and degrade on people with limb loss, because fixed-topology models cannot represent residual limbs. In this work, we present ResiHMR, a residual-limb aware framework for single-image 3D human modeling. ResiHMR adopts residual-limb keypoints and introduces two components: (i) a topology-adaptive Residual Anchor-Factor Optimization module that constrains estimation to the observed kinematic subgraph of anatomically valid structures, and (ii) a geometry-based Residual-Limb Reconstruction module that estimates residual-limb boundaries and convex limb-termination geometry. These components introduce topology-aware optimization and explicit termination geometry as tools for human mesh recovery under non-standard limb anatomy. Unlike joint-removal methods in a fixed topology, ResiHMR explicitly reconstructs residual-limb surfaces and aligns optimization with limb-loss topology, which better matches prosthetic biomechanics and real-world use. To the best of our knowledge, this is the first single-image HMR system that explicitly reconstructs residual-limb surfaces and performs topology-adaptive optimization for individuals with limb loss. On a curated dataset of real-world images with limb loss, ResiHMR improves reconstruction quality under both SMPLify-X and HSMR backbones, reducing intact-joint 2D MPJPE from 41.32 to 37.40 with SMPLify-X and residual-limb 2D MPJPE from 73.61 to 23.19 with HSMR.