DexForge: High-Fidelity Physics-Informed Dexterous Retargeting

📄 arXiv: 2610.06331v1 📥 PDF

作者: Meizhong Wang, Kun Cao, Ruiqi Ni, Lihua Xie, Yiguang Hong

分类: cs.RO

发布日期: 2026-10-05

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出DexForge以解决高保真机器人运动重定向问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 高保真重定向 可微物理 机器人运动 灵巧操作 人类示范 物体模型 动力学模拟 接触感知

📋 核心要点

  1. 现有方法在高保真再现人类示范的运动和手物体交互方面面临物理约束的挑战。
  2. DexForge通过可微物理框架，将人类视频示范转化为机器人轨迹，结合接触感知与力感知的重定向技术。
  3. 在多个实验中，DexForge的成功率提升显著，且物体跟踪误差大幅降低，展示了其有效性。

📝 摘要（中文）

人类示范提供了精确灵巧操作的丰富实例，但在物理约束下，机器人复制这些动作及手物体交互仍然具有挑战性。本文提出DexForge，一个基于可微物理的框架，将人类视频示范转换为高保真机器人轨迹。通过重建球形高斯物体模型和手物体运动，构建了一个结合高效高斯碰撞检测与现有可微动力学的可微模拟器。DexForge结合了接触感知的运动重定向与力感知的动力学重定向，实验表明在130个DexYCB和HOT3D示范中，成功率提升约35-53个百分点，成功轨迹的物体位置和方向跟踪误差分别降低约34-67%和71-78%。

🔬 方法详解

问题定义：本文旨在解决机器人在物理约束下高保真再现人类示范的运动及手物体交互的难题。现有方法在处理复杂的物理交互时，往往无法达到理想的效果，导致再现精度不足。

核心思路：DexForge的核心思路是通过可微物理框架，利用人类视频示范中的信息，重建物体模型和手物体运动，从而实现高保真的运动重定向。该设计使得机器人能够在物理约束下更准确地再现人类的灵巧操作。

技术框架：DexForge的整体架构包括三个主要模块：首先是从视频中重建球形高斯物体模型和手物体运动；其次是构建一个结合高效高斯碰撞检测与可微动力学的模拟器；最后是结合接触感知和力感知的运动重定向技术进行精细控制。

关键创新：DexForge的主要创新在于其可微模拟器的设计，结合了高效的碰撞检测与动力学模型，使得机器人能够在复杂的物理环境中进行精确的运动重定向。这一方法与传统的运动重定向技术相比，显著提高了再现的精度和稳定性。

关键设计：在设计中，DexForge采用了接触感知的运动重定向和力感知的动力学重定向，利用梯度优化进行控制精细调整。此外，损失函数的设计考虑了物体位置和方向的跟踪误差，确保了运动的高保真性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DexForge在130个DexYCB和HOT3D示范中，成功率提升约35-53个百分点，成功轨迹的物体位置和方向跟踪误差分别降低约34-67%和71-78%。这些显著的提升展示了DexForge在高保真运动重定向中的有效性和优势。

🎯 应用场景

DexForge的研究成果在机器人操作、自动化制造和人机交互等领域具有广泛的应用潜力。通过实现高保真的运动重定向，机器人能够更好地执行复杂的操作任务，提升工作效率和安全性。此外，该技术的进步也为未来的智能机器人系统奠定了基础，推动了机器人技术的进一步发展。

📄 摘要（原文）

Human demonstrations offer rich examples of precise dexterous manipulation and a promising source of robot training data. However, high-fidelity reproduction of demonstrated motions and hand-object interactions across robot embodiments remains challenging under physical constraints. We present DexForge, a differentiable physics-grounded framework for converting human video demonstrations into high-fidelity robot trajectories. We reconstruct spherical-Gaussian object models and hand-object motion from visual observations, then build a differentiable simulator combining efficient Gaussian collision detection with existing differentiable dynamics. Based on this simulator, DexForge combines contact-aware kinematic retargeting with force-aware dynamics retargeting: robot-adapted stable contacts guide kinematic reference construction and subsequent gradient-based control refinement for precise physical motion reproduction. Experiments on 130 DexYCB and HOT3D demonstrations across seven dexterous hands show success-rate gains of approximately 35-53 percentage points over the baseline, with object position and orientation tracking errors on successful trajectories reduced by approximately 34-67% and 71-78%, respectively. Further experiments demonstrate open-loop transfer to MuJoCo and real-robot execution. Our project page is available at https://wmz1226.github.io/DexForge/