PiHand: Latent Hand-Object Interaction Priors for Physics-Based Policy Learning
作者: Niklas Berndt, Xianghui Xie, Enes Duran, Yixiao Wang, Gerard Pons-Moll
分类: cs.CV
发布日期: 2026-10-22
备注: Project page: https://virtualhumans.mpi-inf.mpg.de/PiHand/
💡 一句话要点
提出PiHand以解决物理基础下的手-物体交互合成问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 手-物体交互 物理基础合成 灵巧操作 变分自编码器 策略学习 虚拟现实 增强现实
📋 核心要点
- 现有方法在手-物体交互合成中存在接触动态和物体几何多样性处理不足的问题，导致真实感和样本效率低下。
- 提出PiHand框架，通过训练专家策略并提炼手-物体交互先验，利用目标条件VAE实现灵巧操作任务的高效合成。
- 实验结果表明，PiHand在所有任务中均优于基线方法，展示了对未见物体和轨迹的良好泛化能力。
📝 摘要（中文）
合成物理基础的灵巧手-物体交互对于虚拟现实、增强现实、游戏和机器人技术至关重要，但由于接触动态、物体几何形状多样性和目标轨迹的复杂性，仍然面临挑战。现有方法要么依赖于有限的运动捕捉轨迹，转移到新物体的能力不足，要么仅依赖手部生成先验，无法捕捉手-物体的耦合运动，从而牺牲了接触的真实感和样本效率。为了解决这些问题，本文提出了PiHand，一个物理基础的交互感知手部运动合成框架。PiHand首先在仿真中训练专家策略以跟踪运动捕捉演示，然后使用目标条件变分自编码器（VAE）将其提炼为统一的手-物体交互先验，最后通过在潜在空间中的有界残差探索解决多样的灵巧操作任务。该方法在GRAB和DexYCB上展示了对未见物体和轨迹的良好泛化能力。
🔬 方法详解
问题定义：本文旨在解决物理基础下的手-物体交互合成问题，现有方法在处理接触动态和物体几何多样性方面存在不足，导致生成的交互缺乏真实感和效率。
核心思路：PiHand框架通过训练专家策略并提炼成手-物体交互先验，结合目标条件变分自编码器（VAE），实现对多样化灵巧操作任务的有效合成。
技术框架：PiHand的整体架构包括三个主要阶段：首先在仿真环境中训练专家策略以跟踪运动捕捉数据；其次使用VAE提炼手-物体交互先验；最后通过在潜在空间中的有界残差探索来解决灵巧操作任务。
关键创新：PiHand的核心创新在于其手-物体交互先验的提炼方法，能够有效捕捉手与物体之间的耦合运动，显著提高了合成的真实感和样本效率。
关键设计：在设计中，采用了目标条件VAE作为主要网络结构，并通过简单的奖励机制避免了复杂的课程训练，确保了策略的泛化能力。实验中使用的损失函数和参数设置经过精心调整，以优化手-物体交互的合成效果。
🖼️ 关键图片
📊 实验亮点
在所有实验任务中，PiHand均表现出色，超越了基线方法，尤其在GRAB和DexYCB任务中，展示了对未见物体和轨迹的良好泛化能力。具体而言，PiHand在接触和双手交接任务中也展现了优异的性能，证明了其方法的有效性和创新性。
🎯 应用场景
PiHand的研究成果在虚拟现实、增强现实、游戏开发和机器人技术等领域具有广泛的应用潜力。通过实现更自然的手-物体交互，能够提升用户体验和操作效率，推动相关技术的发展。此外，该框架的通用性使其能够适应多种操作任务，具有良好的扩展性和实际价值。
📄 摘要（原文）
Synthesizing physically grounded dexterous hand-object interactions is important for VR/AR, gaming, and robotics, yet remains challenging because subtle contact dynamics, diverse object geometries, and target trajectories must be jointly respected while maintaining natural grasps. Existing methods either track mocap trajectories with limited transfer to novel objects, or rely on hand-only generative priors that fail to capture coupled hand-object motion, sacrificing contact fidelity and sample efficiency. To tackle these challenges, we introduce PiHand, a Physically grounded Interaction-aware Hand motion synthesis framework. PiHand first trains expert policies that track mocap demonstrations in simulation, distills them into a unified hand-object interaction prior using a goal-conditioned VAE, and finally solve diverse dexterous manipulation tasks through bounded residual exploration in its latent space. With only a single reward and no complex curriculum training, this yields general tabletop manipulation policies that generalize to unseen objects and trajectories on GRAB and DexYCB. The same prior transfers to object catching and bimanual handover, two tasks that are rarely seen in its training data. Across all tasks, PiHand consistently outperforms baselines in all metrics. We will release the processed data and model checkpoints.