Fast SAM 3D Body: Accelerating SAM 3D Body for Real-Time Full-Body Human Mesh Recovery

📄 arXiv: 2603.15603v1 📥 PDF

作者: Timing Yang, Sicheng He, Hongyi Jing, Jiawei Yang, Zhijian Liu, Chuhang Zou, Yue Wang

分类: cs.CV

发布日期: 2026-03-16

💡 一句话要点

Fast SAM 3D Body：加速SAM 3D Body实现实时全身人体网格重建

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 3D人体网格重建 单目视觉 实时性 模型加速 Transformer SMPL模型 遥操作

📋 核心要点

  1. 现有单目3D人体网格重建方法SAM 3D Body精度高，但推理速度慢，难以满足实时应用需求。
  2. Fast SAM 3D Body通过解耦空间依赖、架构感知剪枝和直接前馈映射等方法，实现了推理加速。
  3. 实验表明，Fast SAM 3D Body在保持甚至提升重建精度的同时，实现了高达10.9倍的端到端加速。

📝 摘要（中文）

SAM 3D Body (3DB) 在单目3D人体网格重建方面达到了最先进的精度，但其每张图像几秒的推理延迟阻碍了实时应用。我们提出了 Fast SAM 3D Body，这是一个无需训练的加速框架，它重新设计了 3DB 的推理流程以实现交互速率。通过解耦串行空间依赖关系并应用架构感知的剪枝，我们实现了并行化的多裁剪特征提取和简化的 Transformer 解码。此外，为了提取与现有类人控制和策略学习框架兼容的关节级运动学（SMPL），我们用直接前馈映射代替了迭代网格拟合，从而将这种特定转换加速了 10,000 倍以上。总的来说，我们的框架提供了高达 10.9 倍的端到端加速，同时保持了相当的重建保真度，甚至在 LSPET 等基准测试中超过了 3DB。我们通过在纯视觉遥操作系统中部署 Fast SAM 3D Body 来展示其效用，该系统不同于依赖可穿戴 IMU 的方法，能够实现实时类人控制和直接从单个 RGB 流中收集操作策略。

🔬 方法详解

问题定义：论文旨在解决单目3D人体网格重建算法SAM 3D Body推理速度慢，无法满足实时应用需求的问题。现有方法由于串行空间依赖和迭代网格拟合等步骤，导致计算复杂度高，推理延迟大。

核心思路：论文的核心思路是通过解耦串行空间依赖关系，实现并行化的特征提取和解码；并通过直接前馈映射代替迭代网格拟合，大幅度降低计算复杂度，从而加速整体推理过程。这样设计的目的是在保证重建精度的前提下，显著提升推理速度。

技术框架：Fast SAM 3D Body的整体框架包括以下几个主要阶段：1) 并行化的多裁剪特征提取：通过解耦空间依赖，将图像分割成多个裁剪区域，并行提取特征。2) 简化的Transformer解码：对Transformer解码器进行简化，减少计算量。3) 直接前馈SMPL参数预测：使用一个前馈网络直接预测SMPL模型的参数，代替了原有的迭代网格拟合过程。

关键创新：论文最重要的技术创新点在于：1) 解耦串行空间依赖，实现并行化的特征提取和解码。2) 使用直接前馈映射代替迭代网格拟合，大幅度加速SMPL参数的估计。这些创新使得Fast SAM 3D Body能够在保持精度的同时，显著提升推理速度。

关键设计：论文的关键设计包括：1) 架构感知的剪枝策略，用于简化Transformer解码器。2) 多裁剪区域的划分策略，用于实现并行化的特征提取。3) 前馈网络的结构设计和损失函数选择，用于直接预测SMPL参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Fast SAM 3D Body在保持与SAM 3D Body相当的重建精度的同时，实现了高达10.9倍的端到端加速。在LSPET数据集上，Fast SAM 3D Body甚至超过了SAM 3D Body的性能。此外，该方法成功应用于纯视觉遥操作系统中，验证了其在实时场景中的实用性。

🎯 应用场景

Fast SAM 3D Body具有广泛的应用前景，例如：实时人体动作捕捉、虚拟现实/增强现实、人机交互、智能监控、远程医疗等。该研究成果能够使3D人体网格重建技术摆脱对可穿戴设备的依赖，仅通过单目视觉即可实现实时、高精度的三维人体姿态估计，为相关应用带来极大的便利性和灵活性。

📄 摘要（原文）

SAM 3D Body (3DB) achieves state-of-the-art accuracy in monocular 3D human mesh recovery, yet its inference latency of several seconds per image precludes real-time application. We present Fast SAM 3D Body, a training-free acceleration framework that reformulates the 3DB inference pathway to achieve interactive rates. By decoupling serial spatial dependencies and applying architecture-aware pruning, we enable parallelized multi-crop feature extraction and streamlined transformer decoding. Moreover, to extract the joint-level kinematics (SMPL) compatible with existing humanoid control and policy learning frameworks, we replace the iterative mesh fitting with a direct feedforward mapping, accelerating this specific conversion by over 10,000x. Overall, our framework delivers up to a 10.9x end-to-end speedup while maintaining on-par reconstruction fidelity, even surpassing 3DB on benchmarks such as LSPET. We demonstrate its utility by deploying Fast SAM 3D Body in a vision-only teleoperation system that-unlike methods reliant on wearable IMUs-enables real-time humanoid control and the direct collection of manipulation policies from a single RGB stream.