InterMASH: A Unified Geometric Representation for Grasp Synthesis

📄 arXiv: 2609.18504v1 📥 PDF

作者: Xuanze Yang, Yumeng Liu, Haiyang Xin, Changhao Li, Haowei Shen, Kai Xu, Ligang Liu, Ruizhen Hu

分类: cs.RO, cs.GR

发布日期: 2026-09-16

备注: Project Page: https://inter-mash.github.io/

DOI: 10.1145/3829340.3842336

🔗 代码/项目: PROJECT_PAGE


💡 一句话要点

提出InterMASH以解决人机抓取合成统一表示问题

🎯 匹配领域: 支柱一:机器人控制 (Robot Control) 支柱四:生成式动作 (Generative Motion) 支柱七:动作重定向 (Motion Retargeting)

关键词: 抓取合成 几何表示 机器人操作 人机交互 条件扩散变换器 物理可行性 手部建模

📋 核心要点

  1. 现有抓取合成方法缺乏统一的表示,导致人机手在形态和表面建模上的差异难以处理。
  2. 论文提出InterMASH,通过球体固定锚点建立跨体现的几何表示,利用低阶球面谐波编码手部和物体几何。
  3. 在大规模ShadowHand基准测试中,方法在物理可行性指标上表现优异,并通过跨体现微调提升了机器人抓取的成功率。

📝 摘要(中文)

抓取合成旨在生成稳定且物理上合理的手-物体交互,成为人手建模和机器人操作中的基本问题。然而,由于手部形态和表面建模的差异,缺乏跨人机手的统一表示。现有方法通常依赖于接触图或密集隐式描述符,这些表示往往不完整或计算开销大且冗余。我们提出了InterMASH,一个统一的几何表示,通过固定在球体上的锚点建立跨体现的对应关系。在每个锚点,低阶球面谐波紧凑地编码局部手部几何、物体几何和接触,形成明确且可解释的标记序列。基于这种原生标记结构,我们引入了一个条件扩散变换器,直接在提出的InterMASH表示空间中操作,共同生成手部几何和接触,提高了一致性和物理合理性。我们的方案在大规模ShadowHand基准测试中在关键物理可行性指标上表现出竞争力,支持多手的联合训练,并表明通过人类抓取数据的跨体现微调可以提高机器人抓取的成功率和多样性。

🔬 方法详解

问题定义:本论文旨在解决人机抓取合成中的统一几何表示问题。现有方法依赖于接触图或隐式描述符,存在不完整和计算开销大的问题。

核心思路:我们提出InterMASH,通过球体固定锚点建立跨体现的几何表示,利用低阶球面谐波来紧凑地编码手部和物体的几何特征及接触信息。

技术框架:整体架构包括锚点的设置、低阶球面谐波的编码、以及条件扩散变换器的设计。该框架能够在统一的表示空间中生成手部几何和接触信息。

关键创新:InterMASH的核心创新在于其统一的几何表示和直接在该表示空间中操作的条件扩散变换器,这与传统方法的表示方式有本质区别。

关键设计:关键设计包括低阶球面谐波的选择、锚点的分布策略,以及损失函数的设置,确保生成的手部几何和接触信息的物理合理性和一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在大规模ShadowHand基准测试中,InterMASH在关键物理可行性指标上表现出竞争力,支持多手的联合训练,并通过人类抓取数据的微调显著提高了机器人抓取的成功率和多样性。

🎯 应用场景

该研究的潜在应用领域包括人机交互、机器人抓取和自动化操作等。通过提供统一的几何表示,InterMASH能够提升机器人在复杂环境中的抓取能力,具有重要的实际价值和未来影响。

📄 摘要(原文)

Grasp synthesis aims to generate stable and physically plausible hand--object interactions, and has become a fundamental problem in both human hand modeling and robotic manipulation. However, a unified representation across human and robotic hands is still lacking, mainly due to differences in hand morphology and surface modeling. Prior methods typically rely on either contact maps or dense implicit descriptors to represent interaction, but these representations are often incomplete or computationally expensive and redundant. We propose InterMASH, a unified geometric representation that establishes cross-embodiment correspondence using sphere-fixed anchors. At each anchor, low-degree spherical harmonics compactly encode local hand geometry, object geometry, and contact, forming an explicit and interpretable token sequence. Building on this natively tokenized structure, we introduce a conditional Diffusion Transformer that operates directly in the proposed InterMASH representation space and jointly generates hand geometry and contact, improving consistency and physical plausibility. Our method achieves competitive performance with state-of-the-art methods on key physical feasibility metrics in a large-scale ShadowHand benchmark, supports joint training across multiple hands, and shows that cross-embodiment fine-tuning with human grasp data can improve robotic grasp success and diversity. Project page is available at https://inter-mash.github.io/.