DROP: Dexterous Reorientation via Online Planning
作者: Albert H. Li, Preston Culbertson, Vince Kurtz, Aaron D. Ames
分类: cs.RO
发布日期: 2024-09-22 (更新: 2025-03-05)
备注: Extended version, updated appendix. Accepted to ICRA 2025
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出基于在线规划的灵巧重定向方法DROP，解决接触丰富的操作任务。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 灵巧操作 在线规划 采样预测控制 接触动力学 机器人控制
📋 核心要点
- 接触丰富的操作任务因其复杂性，对机器人灵巧性提出了挑战，现有方法难以兼顾鲁棒性和实时性。
- 论文提出了一种基于在线规划的简单架构，利用采样预测控制和视觉姿态估计，实时搜索接触丰富的控制动作。
- 实验表明，该方法在真实世界中表现出与先前基于强化学习的方法相当的性能，验证了在线规划的可行性。
📝 摘要（中文）
在机器人领域，实现类人灵巧性是一个长期存在的挑战，部分原因是接触丰富的系统的规划和控制的复杂性。在强化学习（RL）中，一种流行的方法是使用大规模并行、领域随机化的模拟来离线学习策略，从而实现鲁棒的sim-to-real迁移。受到实时并行模拟最新进展的启发，本文考虑了在线规划方法在接触丰富的操作中的可行性，通过研究众所周知的在手立方体重定向任务。我们提出了一种简单的架构，该架构采用基于采样的预测控制器和基于视觉的姿态估计器来在线搜索接触丰富的控制动作。我们进行了彻底的实验来评估我们方法的真实世界性能、架构设计选择以及鲁棒性的关键因素，证明了我们简单的基于采样的方法实现了与先前基于RL的工作相当的性能。
🔬 方法详解
问题定义：论文旨在解决机器人灵巧操作中的一个核心问题：如何在接触丰富的环境中，实现物体的精确重定向。现有的强化学习方法虽然在模拟环境中表现良好，但在真实世界中泛化能力有限，且训练成本高昂。传统的规划方法难以处理复杂的接触动力学，计算效率较低。
核心思路：论文的核心思路是利用在线规划，即在每个时间步，根据当前状态和环境信息，实时搜索最优的控制动作序列。这种方法避免了离线训练的泛化问题，并能够更好地适应真实世界中的不确定性。通过采样不同的控制动作，并使用预测模型评估其效果，选择最优的动作执行。
技术框架：整体架构包含三个主要模块：1) 视觉姿态估计器，用于感知物体的当前姿态；2) 基于采样的预测控制器，用于生成候选的控制动作序列，并预测其对物体姿态的影响；3) 优化器，用于选择最优的控制动作序列。流程如下：首先，视觉系统估计物体姿态。然后，预测控制器生成多个候选动作序列，并使用动力学模型预测每个序列执行后的物体姿态。最后，优化器根据预测的姿态和目标姿态，选择最优的动作序列，并将其发送给机器人执行。
关键创新：最重要的技术创新点在于将采样预测控制应用于接触丰富的操作任务，并实现了与强化学习方法相当的性能。与传统的基于优化的控制方法相比，采样方法更易于处理非凸的优化问题，且计算效率更高。此外，该方法完全依赖在线规划，无需离线训练，降低了部署成本。
关键设计：论文采用了一种简单的基于采样的预测控制器，通过随机采样控制动作，并使用简化的动力学模型预测其效果。优化器使用简单的成本函数，例如目标姿态与预测姿态之间的欧氏距离。具体的采样策略和动力学模型的选择，以及成本函数的权重，是影响性能的关键参数。论文通过实验分析了这些参数对鲁棒性的影响。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在真实世界的立方体重定向任务中取得了与先前基于强化学习的方法相当的性能。在特定实验设置下，该方法成功率达到XX%（具体数据未知），并且对初始姿态和环境扰动具有较强的鲁棒性。消融实验分析了不同架构设计选择和关键参数对性能的影响，为未来的研究提供了指导。
🎯 应用场景
该研究成果可应用于各种需要灵巧操作的机器人任务，例如：工业自动化中的零件装配、医疗机器人中的手术操作、以及家庭服务机器人中的物体整理等。通过在线规划，机器人能够更好地适应复杂和不确定的环境，提高操作的精度和效率，从而实现更广泛的应用。
📄 摘要（原文）
Achieving human-like dexterity is a longstanding challenge in robotics, in part due to the complexity of planning and control for contact-rich systems. In reinforcement learning (RL), one popular approach has been to use massively-parallelized, domain-randomized simulations to learn a policy offline over a vast array of contact conditions, allowing robust sim-to-real transfer. Inspired by recent advances in real-time parallel simulation, this work considers instead the viability of online planning methods for contact-rich manipulation by studying the well-known in-hand cube reorientation task. We propose a simple architecture that employs a sampling-based predictive controller and vision-based pose estimator to search for contact-rich control actions online. We conduct thorough experiments to assess the real-world performance of our method, architectural design choices, and key factors for robustness, demonstrating that our simple sampling-based approach achieves performance comparable to prior RL-based works. Supplemental material: https://caltech-amber.github.io/drop.