DexNDM: Closing the Reality Gap for Dexterous In-Hand Rotation via Joint-Wise Neural Dynamics Model
作者: Xueyi Liu, He Wang, Li Yi
分类: cs.RO, cs.CV
发布日期: 2025-10-09
备注: Project Website: https://meowuu7.github.io/DexNDM/ Video: https://youtu.be/tU2Mv8vWftU
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出DexNDM，通过关节级神经动力学模型缩小灵巧手部操作的现实差距
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 灵巧操作 仿真到现实 神经动力学模型 关节级建模 自主数据收集
📋 核心要点
- 现有灵巧操作方法难以克服仿真与现实的差距，导致策略泛化性受限，无法处理复杂形状、高长宽比或小尺寸物体。
- 提出关节级神经动力学模型（DexNDM），通过学习关节间的动力学关系，并压缩系统影响，实现高效的数据利用和泛化能力。
- 通过自主数据收集策略，获取多样化的真实世界交互数据，验证了DexNDM在复杂物体和不同腕部姿态下的旋转操作能力。
📝 摘要（中文）
在机器人领域，实现广义的灵巧手部物体旋转仍然是一个重大挑战，这主要是由于策略从仿真到现实世界的迁移困难。灵巧操作中复杂的、富含接触的动力学产生了“现实差距”，这限制了先前的工作只能处理受约束的场景，包括简单的几何形状、有限的物体尺寸和长宽比、受约束的腕部姿势或定制的手部。我们提出了一种新颖的框架来解决这个从仿真到现实的挑战，该框架使单个在仿真中训练的策略能够推广到现实世界中的各种物体和条件。我们方法的核心是一个关节级动力学模型，它通过有效地拟合有限的真实世界收集的数据，然后相应地调整仿真策略的动作来弥合现实差距。该模型具有高度的数据效率和跨不同全手交互分布的泛化能力，通过分解关节间的动力学，将系统范围的影响压缩到低维变量中，并从每个关节自身的动态轮廓中学习其演变，从而隐式地捕获这些净效应。我们将其与完全自主的数据收集策略相结合，该策略以最少的人工干预收集多样化的真实世界交互数据。我们完整的流程展示了前所未有的通用性：单个策略成功地旋转具有复杂形状（例如，动物）、高长宽比（高达 5.33）和小尺寸的具有挑战性的物体，同时处理各种腕部方向和旋转轴。全面的真实世界评估和用于复杂任务的远程操作应用验证了我们方法的有效性和鲁棒性。
🔬 方法详解
问题定义：论文旨在解决灵巧手部操作中，由于仿真与现实环境差异导致的策略泛化性问题。现有方法通常在受限场景下有效，例如简单的几何形状、有限的物体尺寸和长宽比，或者需要定制的手部设计。这些方法难以应对真实世界中复杂多样的物体和操作条件，限制了灵巧操作的实际应用。
核心思路：论文的核心思路是学习一个关节级的动力学模型，该模型能够有效地拟合少量真实世界数据，并根据这些数据调整仿真策略的动作。通过分解关节间的动力学关系，并将系统范围的影响压缩到低维变量中，该模型能够更有效地学习和泛化，从而弥合仿真与现实之间的差距。
技术框架：整体框架包含三个主要部分：1) 在仿真环境中训练初始策略；2) 使用自主数据收集策略在真实世界中收集少量交互数据；3) 利用收集到的数据训练关节级神经动力学模型（DexNDM），并使用该模型调整仿真策略的动作。最终，调整后的策略可以直接部署到真实机器人上，完成灵巧的物体旋转操作。
关键创新：最重要的技术创新在于关节级神经动力学模型（DexNDM）。与传统的整体动力学模型不同，DexNDM将动力学分解到各个关节，并学习每个关节的动态轮廓。这种分解方式使得模型能够更好地捕捉关节间的相互作用，并更有效地利用数据进行学习。此外，通过将系统范围的影响压缩到低维变量中，DexNDM能够更好地泛化到不同的物体和操作条件。
关键设计：DexNDM的关键设计包括：1) 关节级动力学建模：每个关节都有一个独立的动力学模型，用于预测该关节的运动状态；2) 低维变量压缩：使用神经网络将系统范围的影响压缩到低维变量中，从而减少模型的复杂性；3) 损失函数设计：损失函数包括动力学预测误差和策略调整损失，用于优化DexNDM的参数和调整仿真策略的动作。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法能够成功地旋转具有复杂形状（例如，动物）、高长宽比（高达 5.33）和小尺寸的物体，同时处理各种腕部方向和旋转轴。与现有方法相比，该方法在泛化性和鲁棒性方面均有显著提升。此外，通过远程操作应用，验证了该方法在复杂任务中的有效性。
🎯 应用场景
该研究成果可应用于各种需要灵巧手部操作的场景，例如：工业自动化中的精密装配、医疗手术中的微创操作、家庭服务机器人中的物体操作等。通过缩小仿真与现实的差距，该方法能够降低机器人开发的成本和时间，并提高机器人的鲁棒性和适应性，从而加速机器人在实际场景中的应用。
📄 摘要（原文）
Achieving generalized in-hand object rotation remains a significant challenge in robotics, largely due to the difficulty of transferring policies from simulation to the real world. The complex, contact-rich dynamics of dexterous manipulation create a "reality gap" that has limited prior work to constrained scenarios involving simple geometries, limited object sizes and aspect ratios, constrained wrist poses, or customized hands. We address this sim-to-real challenge with a novel framework that enables a single policy, trained in simulation, to generalize to a wide variety of objects and conditions in the real world. The core of our method is a joint-wise dynamics model that learns to bridge the reality gap by effectively fitting limited amount of real-world collected data and then adapting the sim policy's actions accordingly. The model is highly data-efficient and generalizable across different whole-hand interaction distributions by factorizing dynamics across joints, compressing system-wide influences into low-dimensional variables, and learning each joint's evolution from its own dynamic profile, implicitly capturing these net effects. We pair this with a fully autonomous data collection strategy that gathers diverse, real-world interaction data with minimal human intervention. Our complete pipeline demonstrates unprecedented generality: a single policy successfully rotates challenging objects with complex shapes (e.g., animals), high aspect ratios (up to 5.33), and small sizes, all while handling diverse wrist orientations and rotation axes. Comprehensive real-world evaluations and a teleoperation application for complex tasks validate the effectiveness and robustness of our approach. Website: https://meowuu7.github.io/DexNDM/