Hierarchical Reinforcement Learning for Articulated Tool Manipulation with Multifingered Hand

📄 arXiv: 2507.06822v1 📥 PDF

作者: Wei Xu, Yanchao Zhao, Weichao Guo, Xinjun Sheng

分类: cs.RO

发布日期: 2025-07-09

备注: Accepted by 2025 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2025). copyright 2025 IEEE. Final version to appear in IEEE Xplore

💡 一句话要点

提出一种用于灵巧手操作铰接工具的分层强化学习框架。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 分层强化学习 铰接工具操作 灵巧手 目标条件强化学习 机器人抓取

📋 核心要点

  1. 现有方法在灵巧机械手操作铰接工具（如镊子、剪刀）方面研究较少，铰接工具的动态形变对操作提出了挑战。
  2. 提出一种分层目标条件强化学习框架，利用低层策略控制灵巧手，高层策略定义工具目标状态并控制机械臂。
  3. 实验结果表明，该方法能有效操纵镊子类工具抓取不同形状和尺寸的物体，成功率达70.8%，验证了其潜力。

📝 摘要（中文）

本文提出了一种分层的、目标条件强化学习(GCRL)框架，旨在提升拟人化机械手使用铰接工具的操作能力。该框架包含两个策略层：(1)一个低层策略，使灵巧手能够将工具操纵成各种配置，以适应不同尺寸的物体；(2)一个高层策略，定义工具的目标状态并控制机械臂进行物体抓取任务。我们使用在合成点云上训练的编码器来估计工具的可供性状态，特别是不同的工具配置（例如，镊子开口角度）如何实现对不同尺寸物体的抓取，从而实现精确的工具操作。我们还利用特权信息启发式策略来生成回放缓冲区，从而提高高层策略的训练效率。通过真实世界的实验验证了我们的方法，结果表明，机器人可以有效地操纵类似镊子的工具来抓取各种形状和尺寸的物体，成功率为70.8%。这项研究突出了强化学习在推进铰接工具的灵巧机器人操作方面的潜力。

🔬 方法详解

问题定义：现有方法在灵巧机械手操作铰接工具方面存在不足，铰接工具的形状会动态变化，这使得精确控制和操作变得非常困难。特别是，如何根据待抓取物体的尺寸和形状，调整铰接工具的配置（例如镊子的开口角度），是一个关键的挑战。

核心思路：本文的核心思路是将铰接工具的操作分解为两个层次：高层策略负责规划工具的目标状态（例如，镊子的目标开口角度），低层策略负责控制灵巧手将工具调整到目标状态。这种分层结构简化了学习过程，并允许对工具的操作进行更精细的控制。此外，利用目标条件强化学习，使得策略能够适应不同的目标和环境。

技术框架：该框架包含两个主要的模块：1) 低层策略：使用强化学习训练一个策略，该策略能够根据给定的工具目标状态，控制灵巧手调整工具的配置。2) 高层策略：使用强化学习训练一个策略，该策略能够根据待抓取物体的特征（例如，点云数据），确定工具的目标状态，并控制机械臂进行抓取。此外，还使用一个编码器，从点云数据中提取工具的可供性状态，用于指导高层策略的学习。

关键创新：该论文的关键创新在于将分层强化学习应用于铰接工具的操作，并结合了目标条件强化学习和可供性状态估计。与传统的单层强化学习方法相比，分层结构能够更好地处理复杂的操作任务，并提高学习效率。此外，利用可供性状态估计，使得策略能够更好地理解工具和环境之间的关系，从而实现更精确的操作。

关键设计：在低层策略中，使用了奖励函数来鼓励灵巧手将工具调整到目标状态。在高层策略中，使用了特权信息启发式策略来生成回放缓冲区，从而提高训练效率。编码器使用合成点云数据进行训练，以提高其泛化能力。具体的网络结构和参数设置在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法能够成功地操纵类似镊子的工具抓取各种形状和尺寸的物体，成功率达到70.8%。这一结果表明，该方法在铰接工具操作方面具有良好的性能。虽然论文中没有明确与其他基线方法进行对比，但70.8%的成功率已经证明了该方法的有效性。

🎯 应用场景

该研究成果可应用于自动化装配、医疗手术机器人、精密仪器操作等领域。例如，在自动化装配中，机器人可以利用铰接工具进行精细的零件组装；在医疗手术中，医生可以通过远程控制机器人进行微创手术。该研究为开发更智能、更灵活的机器人操作系统奠定了基础。

📄 摘要（原文）

Manipulating articulated tools, such as tweezers or scissors, has rarely been explored in previous research. Unlike rigid tools, articulated tools change their shape dynamically, creating unique challenges for dexterous robotic hands. In this work, we present a hierarchical, goal-conditioned reinforcement learning (GCRL) framework to improve the manipulation capabilities of anthropomorphic robotic hands using articulated tools. Our framework comprises two policy layers: (1) a low-level policy that enables the dexterous hand to manipulate the tool into various configurations for objects of different sizes, and (2) a high-level policy that defines the tool's goal state and controls the robotic arm for object-picking tasks. We employ an encoder, trained on synthetic pointclouds, to estimate the tool's affordance states--specifically, how different tool configurations (e.g., tweezer opening angles) enable grasping of objects of varying sizes--from input point clouds, thereby enabling precise tool manipulation. We also utilize a privilege-informed heuristic policy to generate replay buffer, improving the training efficiency of the high-level policy. We validate our approach through real-world experiments, showing that the robot can effectively manipulate a tweezer-like tool to grasp objects of diverse shapes and sizes with a 70.8 % success rate. This study highlights the potential of RL to advance dexterous robotic manipulation of articulated tools.