VM-BHINet:Vision Mamba Bimanual Hand Interaction Network for 3D Interacting Hand Mesh Recovery From a Single RGB Image

📄 arXiv: 2504.14618v1 📥 PDF

作者: Han Bi, Ge Yu, Yu He, Wenzhuo Liu, Zijie Zheng

分类: cs.CV, cs.AI

发布日期: 2025-04-20

💡 一句话要点

提出VM-BHINet，利用Vision Mamba解决单RGB图像中的3D交互手部网格重建问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 3D手部重建 双手动交互 Vision Mamba 状态空间模型 深度学习 人机交互 计算机视觉

📋 核心要点

  1. 现有方法在双手动交互场景下的3D手部姿态和形状重建中，面临遮挡、外观模糊以及计算效率低下的挑战。
  2. VM-BHINet的核心思想是将状态空间模型（SSM）引入手部重建，从而更有效地建模手部交互关系，并提升计算效率。
  3. 实验结果表明，VM-BHINet在InterHand2.6M数据集上显著降低了MPJPE和MPVPE，优于现有最佳方法。

📝 摘要（中文）

本文提出了一种名为Vision Mamba Bimanual Hand Interaction Network (VM-BHINet) 的方法，用于从单张RGB图像中重建3D交互手部网格。现有方法在处理遮挡、模糊外观和计算效率方面存在困难。VM-BHINet将状态空间模型（SSM）引入手部重建，以增强交互建模并提高计算效率。其核心组件Vision Mamba Interaction Feature Extraction Block (VM-IFEBlock) 结合了SSM与局部和全局特征操作，从而能够深入理解手部交互。在InterHand2.6M数据集上的实验表明，VM-BHINet将平均关节位置误差 (MPJPE) 和平均顶点位置误差 (MPVPE) 降低了2-3%，显著超越了现有最先进的方法。

🔬 方法详解

问题定义：论文旨在解决从单张RGB图像中准确高效地重建3D交互手部网格的问题。现有方法在处理双手动交互时，由于遮挡、外观相似性以及复杂的交互关系，导致重建精度不高，且计算复杂度较高，难以满足实时性需求。

核心思路：论文的核心思路是利用Vision Mamba架构，特别是状态空间模型（SSM）的优势，来捕捉手部之间的长距离依赖关系和上下文信息。通过SSM，模型能够更有效地建模手部交互，从而提高重建精度和效率。

技术框架：VM-BHINet的整体框架包含特征提取、交互建模和网格重建三个主要阶段。首先，使用卷积神经网络提取图像特征。然后，通过提出的Vision Mamba Interaction Feature Extraction Block (VM-IFEBlock) 进行交互特征提取，该模块结合了SSM与局部和全局特征操作。最后，利用回归模型从提取的特征中预测3D手部网格。

关键创新：最关键的创新点在于VM-IFEBlock的设计，它将状态空间模型（SSM）引入到手部交互特征提取中。与传统的卷积神经网络或Transformer相比，SSM能够更有效地建模长距离依赖关系，并且具有更高的计算效率。

关键设计：VM-IFEBlock的具体设计包括：首先，使用线性投影将输入特征映射到SSM的状态空间。然后，通过SSM模块进行序列建模，捕捉手部之间的交互关系。最后，使用逆投影将状态空间特征映射回原始特征空间，并与原始特征进行融合。损失函数通常包括关节位置误差、顶点位置误差以及正则化项。

📊 实验亮点

VM-BHINet在InterHand2.6M数据集上取得了显著的性能提升。具体而言，该方法将平均关节位置误差 (MPJPE) 和平均顶点位置误差 (MPVPE) 降低了2-3%，明显优于现有的state-of-the-art方法，证明了Vision Mamba在手部交互建模方面的有效性。

🎯 应用场景

该研究成果可应用于人机交互、虚拟现实、增强现实、机器人控制等领域。例如，在VR/AR游戏中，可以实现更自然的手部交互体验；在机器人控制中，可以帮助机器人理解人类的手势，从而进行更精确的操作；在远程协作中，可以实现更逼真的手部动作同步。

📄 摘要（原文）

Understanding bimanual hand interactions is essential for realistic 3D pose and shape reconstruction. However, existing methods struggle with occlusions, ambiguous appearances, and computational inefficiencies. To address these challenges, we propose Vision Mamba Bimanual Hand Interaction Network (VM-BHINet), introducing state space models (SSMs) into hand reconstruction to enhance interaction modeling while improving computational efficiency. The core component, Vision Mamba Interaction Feature Extraction Block (VM-IFEBlock), combines SSMs with local and global feature operations, enabling deep understanding of hand interactions. Experiments on the InterHand2.6M dataset show that VM-BHINet reduces Mean per-joint position error (MPJPE) and Mean per-vertex position error (MPVPE) by 2-3%, significantly surpassing state-of-the-art methods.