Multi-finger Manipulation via Trajectory Optimization with Differentiable Rolling and Geometric Constraints
作者: Fan Yang, Thomas Power, Sergio Aguilera Marinovic, Soshi Iba, Rana Soltani Zarrin, Dmitry Berenson
分类: cs.RO
发布日期: 2024-08-23 (更新: 2024-12-10)
💡 一句话要点
提出基于可微滚动和几何约束的轨迹优化方法，实现多指灵巧操作
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 灵巧操作 轨迹优化 可微滚动 有向距离场 多指操作
📋 核心要点
- 现有灵巧操作方法通常简化机器人和物体几何，或忽略手指滚动，限制了操作能力。
- 该方法结合物体SDF与采样，可微地估计接触和滚动变量，并融入轨迹优化，实现手指滚动。
- 实验表明，该方法在模拟和真实螺丝刀转动、物体重定向等任务中优于基线，具有鲁棒性。
📝 摘要（中文）
本文提出了一种通过轨迹优化实现灵巧操作的方法，该方法以可微的方式参数化手指滚动和手指-物体接触。与以往通常假设机器人和物体几何形状简化或不显式建模手指滚动的方法不同，本文通过考虑机器人和物体的非平凡几何形状，进一步扩展了灵巧操作的能力。通过将物体的有向距离场（SDF）与采样方法相结合，该方法以可微的方式估计接触和滚动相关变量，并将其包含在轨迹优化框架中。这种公式自然地允许手指滚动行为的出现，使机器人能够局部调整接触点。为了评估该方法，我们引入了一个具有挑战性的多指灵巧操作任务的基准，例如螺丝刀转动和手中物体重定向。该方法在实现期望的物体配置和避免掉落物体方面优于基线方法。我们还成功地将该方法应用于真实的螺丝刀转动任务和一个长方体对齐任务，证明了其对sim2real差距的鲁棒性。
🔬 方法详解
问题定义：现有的灵巧操作方法在处理复杂几何形状的物体和机器人时存在局限性，并且通常无法显式地建模手指在物体表面的滚动行为。这导致了操作精度和稳定性的下降，尤其是在需要精细调整接触点的情况下。因此，需要一种能够处理非平凡几何形状，并能有效利用手指滚动来实现复杂操作的方法。
核心思路：该论文的核心思路是将物体的有向距离场（SDF）与采样方法相结合，以可微的方式估计接触点和滚动相关的变量。通过将这些变量纳入轨迹优化框架，可以自然地引导机器人产生手指滚动行为，从而在局部调整接触点，实现更精确和稳定的操作。这种方法允许在优化过程中动态地调整接触位置，而不是依赖于预定义的接触策略。
技术框架：该方法主要包含以下几个阶段：1) 使用物体的SDF进行接触点采样；2) 基于采样点计算接触和滚动相关的变量，并确保这些变量是可微的；3) 将这些变量作为约束条件或目标函数的一部分，纳入轨迹优化框架；4) 使用优化算法求解轨迹，控制机器人的运动。整个框架通过可微的接触模型和优化算法，实现了端到端的灵巧操作规划。
关键创新：该方法最重要的技术创新点在于其可微的接触和滚动模型。通过结合SDF和采样方法，该模型能够以可微的方式估计接触点和滚动相关的变量，从而允许在轨迹优化过程中直接优化接触位置和滚动行为。与以往依赖于简化几何或预定义接触策略的方法相比，该方法能够更灵活地适应复杂的几何形状和操作任务。
关键设计：该方法的关键设计包括：1) 使用SDF来表示物体的几何形状，从而可以高效地计算物体表面的距离和梯度；2) 设计可微的滚动约束，确保手指在物体表面滚动时不会发生滑动；3) 使用合适的优化算法（例如，序列二次规划）来求解轨迹优化问题；4) 设计合适的损失函数，例如，最小化轨迹长度、避免碰撞、实现期望的物体姿态等。
🖼️ 关键图片
📊 实验亮点
该方法在模拟环境中，针对螺丝刀转动和手中物体重定向等任务进行了评估，结果表明该方法在实现期望的物体配置和避免掉落物体方面优于基线方法。此外，该方法还成功应用于真实的螺丝刀转动任务和一个长方体对齐任务，验证了其在真实环境中的可行性和鲁棒性。具体性能数据未知。
🎯 应用场景
该研究成果可应用于工业自动化、医疗机器人、家庭服务机器人等领域。例如，在工业自动化中，可用于复杂零件的装配和操作；在医疗机器人中，可用于微创手术和康复训练；在家庭服务机器人中，可用于处理各种日常物品。该方法有望提升机器人在复杂环境中的操作能力，实现更智能、更高效的自动化。
📄 摘要（原文）
Parameterizing finger rolling and finger-object contacts in a differentiable manner is important for formulating dexterous manipulation as a trajectory optimization problem. In contrast to previous methods which often assume simplified geometries of the robot and object or do not explicitly model finger rolling, we propose a method to further extend the capabilities of dexterous manipulation by accounting for non-trivial geometries of both the robot and the object. By integrating the object's Signed Distance Field (SDF) with a sampling method, our method estimates contact and rolling-related variables in a differentiable manner and includes those in a trajectory optimization framework. This formulation naturally allows for the emergence of finger-rolling behaviors, enabling the robot to locally adjust the contact points. To evaluate our method, we introduce a benchmark featuring challenging multi-finger dexterous manipulation tasks, such as screwdriver turning and in-hand reorientation. Our method outperforms baselines in terms of achieving desired object configurations and avoiding dropping the object. We also successfully apply our method to a real-world screwdriver turning task and a cuboid alignment task, demonstrating its robustness to the sim2real gap.