Composing Dextrous Grasping and In-hand Manipulation via Scoring with a Reinforcement Learning Critic

📄 arXiv: 2505.13253v1 📥 PDF

作者: Lennart Röstel, Dominik Winkelbauer, Johannes Pitz, Leon Sievers, Berthold Bäuml

分类: cs.RO, cs.AI

发布日期: 2025-05-19

DOI: 10.1109/ICRA55743.2025.11127792

💡 一句话要点

利用强化学习Critic评分，实现灵巧抓取与手内操作的组合

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 灵巧抓取 手内操作 强化学习 Critic网络 机器人操作

📋 核心要点

  1. 现有手内操作的强化学习方法依赖于人工提供的初始抓取状态，限制了其在真实场景中的应用。
  2. 该论文利用已训练的手内操作强化学习Critic网络，对潜在的初始抓取姿态进行评分和选择，无需额外训练。
  3. 实验表明，该方法显著提高了手内操作的成功率，并在真实机器人系统上验证了抓取和重定向流程的有效性。

📝 摘要（中文）

手内操作和抓取是机器人学中两个基础但通常被分别研究的任务。近年来，强化学习在手内操作策略的学习上取得了显著成功。然而，这些控制器在实际场景中应用受限，因为它们通常需要人工将物体放置在合适的初始（抓取）状态。找到既稳定又能促进期望的手内操作目标的抓取姿态是一个尚未解决的问题。本文提出了一种方法来弥合这一差距，通过利用为手内操作训练的强化学习代理的Critic网络来评分和选择初始抓取姿态。实验表明，该方法显著提高了手内操作的成功率，而无需额外的训练。我们还在真实系统中实现了一个完整的抓取操作流程，实现了即使是不易操作的物体的自主抓取和重新定向。

🔬 方法详解

问题定义：论文旨在解决机器人灵巧操作中，如何自动选择合适的初始抓取姿态，以提高后续手内操作成功率的问题。现有方法通常依赖人工放置物体或随机抓取，效率低且难以保证后续操作的成功。痛点在于缺乏一种能够评估抓取姿态对手内操作有利程度的有效方法。

核心思路：论文的核心思路是利用已训练的手内操作强化学习代理的Critic网络，将其作为抓取姿态的评分器。Critic网络能够评估给定状态下策略的价值，因此可以用来评估不同抓取姿态对手内操作的潜在价值。选择具有较高Critic评分的抓取姿态，能够提高后续手内操作的成功率。

技术框架：整体流程包括：1) 生成多个候选抓取姿态；2) 使用训练好的手内操作强化学习代理的Critic网络对每个抓取姿态进行评分；3) 选择评分最高的抓取姿态作为初始抓取姿态；4) 执行抓取动作；5) 执行手内操作策略。该框架无需额外训练，直接利用了已有的手内操作强化学习模型。

关键创新：最重要的技术创新点在于将手内操作强化学习的Critic网络用于抓取姿态的评估和选择。这是一种新颖的利用现有强化学习模型的方式，避免了从头开始训练抓取策略的需要。与现有方法相比，该方法能够更有效地选择有利于手内操作的抓取姿态。

关键设计：论文的关键设计在于如何将Critic网络的输出转化为抓取姿态的评分。具体来说，对于每个候选抓取姿态，将其作为手内操作强化学习环境的初始状态，然后使用Critic网络评估该状态的价值。Critic网络的输出直接作为该抓取姿态的评分。此外，论文还关注了如何生成足够多的候选抓取姿态，以保证能够找到一个高质量的抓取姿态。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用该方法选择的抓取姿态显著提高了手内操作的成功率。在真实机器人系统上的实验表明，该方法能够成功实现对不易操作物体的自主抓取和重新定向。具体性能数据未知，但论文强调了成功率的显著提升，并展示了真实世界系统的可行性。

🎯 应用场景

该研究成果可应用于各种需要灵巧操作的机器人场景，例如工业自动化、家庭服务机器人、医疗机器人等。通过自动选择合适的抓取姿态，可以提高机器人操作的效率和可靠性，使其能够更好地完成复杂的操作任务。未来，该方法可以进一步扩展到更复杂的物体和操作任务中，实现更智能、更灵活的机器人操作。

📄 摘要（原文）

In-hand manipulation and grasping are fundamental yet often separately addressed tasks in robotics. For deriving in-hand manipulation policies, reinforcement learning has recently shown great success. However, the derived controllers are not yet useful in real-world scenarios because they often require a human operator to place the objects in suitable initial (grasping) states. Finding stable grasps that also promote the desired in-hand manipulation goal is an open problem. In this work, we propose a method for bridging this gap by leveraging the critic network of a reinforcement learning agent trained for in-hand manipulation to score and select initial grasps. Our experiments show that this method significantly increases the success rate of in-hand manipulation without requiring additional training. We also present an implementation of a full grasp manipulation pipeline on a real-world system, enabling autonomous grasping and reorientation even of unwieldy objects.