Leveraging Neural Descriptor Fields for Learning Contact-Aware Dynamic Recovery

📄 arXiv: 2510.14768v1 📥 PDF

作者: Fan Yang, Zixuan Huang, Abhinav Kumar, Sergio Aguilera Marinovic, Soshi Iba, Rana Soltani Zarrin, Dmitry Berenson

分类: cs.RO

发布日期: 2025-10-16

💡 一句话要点

提出CADRE框架，利用神经描述场学习接触感知的动态恢复，提升灵巧操作的鲁棒性。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)

关键词: 灵巧操作 动态恢复 强化学习 神经描述场 接触感知

📋 核心要点

  1. 灵巧操作易受干扰导致物体掉落，现有方法难以有效恢复并重置系统。
  2. CADRE利用神经描述场提取隐式接触特征，提升对不同物体几何形状的适应性。
  3. 实验表明，CADRE提高了训练效率和收敛性，并能泛化到未见过的物体。

📝 摘要（中文）

本文提出了一种名为接触感知动态恢复（CADRE）的强化学习框架，旨在解决灵巧操作中常见的意外错误和扰动问题，例如物体掉落。CADRE专注于在物体仍在抓取范围内时将其接住，并将系统重置为有利于恢复主要操作任务的配置。该框架结合了受神经描述场（NDF）启发的模块，用于提取隐式的接触特征。与仅依赖于物体姿态或点云输入的方法相比，NDF可以直接推断手指与物体的对应关系，并适应不同的物体几何形状。实验结果表明，引入接触特征可以提高训练效率，增强强化学习训练的收敛性能，并最终实现更成功的恢复。此外，CADRE可以零样本泛化到具有不同几何形状的未见过的物体。

🔬 方法详解

问题定义：论文旨在解决灵巧操作中物体意外掉落后的动态恢复问题。现有方法主要依赖于物体姿态或点云信息，缺乏对接触信息的直接建模，难以适应不同物体几何形状，导致恢复效率和泛化能力不足。

核心思路：论文的核心思路是利用神经描述场（NDF）来提取手指与物体之间的隐式接触特征。NDF能够直接推理手指与物体的对应关系，并适应不同的物体几何形状，从而为动态恢复提供更丰富和鲁棒的信息。通过将接触特征融入强化学习框架，可以提高训练效率和恢复成功率。

技术框架：CADRE框架主要包含以下几个模块：1) 环境模拟器，用于模拟灵巧操作和物体掉落场景；2) 基于NDF的接触特征提取模块，用于从传感器数据中提取隐式接触特征；3) 强化学习策略网络，用于学习动态恢复策略；4) 奖励函数，用于指导策略网络的训练。整体流程是：环境模拟器生成状态，接触特征提取模块提取接触特征，策略网络根据状态和接触特征输出动作，环境执行动作并返回新的状态和奖励，策略网络根据奖励进行更新。

关键创新：论文最重要的技术创新点在于将神经描述场（NDF）引入到灵巧操作的动态恢复问题中。与传统方法相比，NDF能够直接建模手指与物体之间的接触关系，并适应不同的物体几何形状，从而提高了恢复策略的鲁棒性和泛化能力。此外，论文还设计了一种新的强化学习框架，将接触特征有效地融入到策略学习过程中。

关键设计：论文的关键设计包括：1) NDF的训练方式，需要设计合适的损失函数来保证NDF能够准确地描述接触信息；2) 强化学习策略网络的设计，需要选择合适的网络结构和激活函数来保证策略网络的学习能力；3) 奖励函数的设计，需要仔细权衡各项奖励的权重，以保证策略网络能够学习到有效的恢复策略。具体参数设置和网络结构等细节在论文中有详细描述。

📊 实验亮点

实验结果表明，CADRE框架在动态恢复任务中取得了显著的性能提升。与仅使用物体姿态或点云信息的方法相比，CADRE能够更快地收敛，并达到更高的恢复成功率。此外，CADRE还能够零样本泛化到具有不同几何形状的未见过的物体，表明其具有良好的泛化能力。具体性能数据和对比基线在论文中有详细展示。

🎯 应用场景

CADRE框架可应用于各种需要灵巧操作的机器人任务中，例如工业自动化、医疗手术、家庭服务等。该研究可以提高机器人在复杂环境中的鲁棒性和可靠性，使其能够更好地应对意外情况，并完成预定的操作任务。未来，该技术有望应用于更复杂的场景，例如在拥挤的环境中进行操作，或在存在干扰的情况下进行操作。

📄 摘要（原文）

Real-world dexterous manipulation often encounters unexpected errors and disturbances, which can lead to catastrophic failures, such as dropping the manipulated object. To address this challenge, we focus on the problem of catching a falling object while it remains within grasping range and, importantly, resetting the system to a configuration favorable for resuming the primary manipulation task. We propose Contact-Aware Dynamic Recovery (CADRE), a reinforcement learning framework that incorporates a Neural Descriptor Field (NDF)-inspired module to extract implicit contact features. Compared to methods that rely solely on object pose or point cloud input, NDFs can directly reason about finger-object correspondence and adapt to different object geometries. Our experiments show that incorporating contact features improves training efficiency, enhances convergence performance for RL training, and ultimately leads to more successful recoveries. Additionally, we demonstrate that CADRE can generalize zero-shot to unseen objects with different geometries.