Lessons from Learning to Spin "Pens"
作者: Jun Wang, Ying Yuan, Haichuan Che, Haozhi Qi, Yi Ma, Jitendra Malik, Xiaolong Wang
分类: cs.RO, cs.AI, cs.LG
发布日期: 2024-07-26 (更新: 2024-10-23)
备注: CoRL 2024. Website: https://penspin.github.io/
💡 一句话要点
提出一种基于强化学习和真实数据微调的笔状物原地操作学习方法
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 原地操作 强化学习 模拟到真实 机器人学习 灵巧手
📋 核心要点
- 现有基于学习的物体原地操作方法，因缺乏高质量数据和模拟-现实差距而受限。
- 利用强化学习在模拟环境中训练策略，生成高质量轨迹数据，并用于真实世界策略微调。
- 实验证明，该方法仅需少量真实数据即可成功学习旋转多种笔状物体，性能显著提升。
📝 摘要（中文）
笔状物原地操作是一项重要的日常技能，因为许多工具如锤子和螺丝刀都具有相似的形状。然而，由于缺乏高质量的演示数据以及模拟与现实世界之间的巨大差距，目前基于学习的方法难以胜任这项任务。本文通过展示旋转笔状物体的能力，推动了基于学习的原地操作系统的边界。我们首先使用强化学习训练一个具有特权信息的oracle策略，并在模拟中生成高保真轨迹数据集。这有两个目的：1) 在模拟中预训练一个感觉运动策略；2) 在现实世界中进行开环轨迹回放。然后，我们使用这些真实世界的轨迹微调感觉运动策略，使其适应真实世界的动力学。通过少于50条轨迹，我们的策略学会了旋转十多种具有不同物理属性的笔状物体，并能旋转多圈。我们对我们的设计选择进行了全面的分析，并分享了开发过程中获得的经验教训。
🔬 方法详解
问题定义：论文旨在解决机器人灵巧手对笔状物体的原地操作问题，特别是旋转操作。现有方法面临的痛点在于：一是缺乏高质量的训练数据，特别是真实世界的数据；二是模拟环境与真实环境存在差异，导致在模拟环境中训练的策略难以直接应用于真实机器人。
核心思路：论文的核心思路是利用强化学习在模拟环境中训练一个oracle策略，生成高质量的轨迹数据，然后利用这些数据预训练一个感觉运动策略，最后在真实世界中使用少量数据对该策略进行微调，以适应真实世界的动力学。
技术框架：整体框架包含以下几个阶段： 1. 模拟环境训练：使用强化学习训练一个oracle策略，该策略可以访问特权信息（例如物体的精确状态）。 2. 数据生成：使用训练好的oracle策略在模拟环境中生成大量的轨迹数据。 3. 策略预训练：使用模拟环境生成的轨迹数据预训练一个感觉运动策略，该策略只能访问传感器信息。 4. 真实世界微调：在真实世界中使用少量数据对预训练的感觉运动策略进行微调，以适应真实世界的动力学。
关键创新：论文的关键创新在于： 1. 利用强化学习在模拟环境中生成高质量的轨迹数据，克服了真实世界数据获取困难的问题。 2. 通过预训练和微调的方式，有效地解决了模拟环境与真实环境之间的差异。 3. 提出了一种适用于笔状物体原地操作的学习框架，可以推广到其他类似形状的物体。
关键设计： 1. 强化学习算法：具体使用的强化学习算法未知，但需要能够处理连续动作空间。 2. 感觉运动策略网络结构：具体网络结构未知，但需要能够将传感器信息映射到机器人的动作空间。 3. 损失函数：损失函数包括模仿学习损失和真实世界微调损失。模仿学习损失用于使感觉运动策略模仿oracle策略的动作，真实世界微调损失用于使策略适应真实世界的动力学。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法仅使用不到50条真实世界轨迹，即可成功学习旋转十多种不同物理属性的笔状物体，并能旋转多圈。与直接在真实世界中训练相比，该方法显著提高了学习效率和性能，证明了模拟预训练和真实世界微调的有效性。
🎯 应用场景
该研究成果可应用于各种需要灵巧手操作的场景，例如：工业自动化中对细长零件的装配、医疗手术中对器械的操控、以及家庭服务机器人中对工具的使用。通过学习原地操作技能，机器人可以更灵活地完成各种任务，提高工作效率和安全性，并扩展机器人的应用范围。
📄 摘要（原文）
In-hand manipulation of pen-like objects is an important skill in our daily lives, as many tools such as hammers and screwdrivers are similarly shaped. However, current learning-based methods struggle with this task due to a lack of high-quality demonstrations and the significant gap between simulation and the real world. In this work, we push the boundaries of learning-based in-hand manipulation systems by demonstrating the capability to spin pen-like objects. We first use reinforcement learning to train an oracle policy with privileged information and generate a high-fidelity trajectory dataset in simulation. This serves two purposes: 1) pre-training a sensorimotor policy in simulation; 2) conducting open-loop trajectory replay in the real world. We then fine-tune the sensorimotor policy using these real-world trajectories to adapt it to the real world dynamics. With less than 50 trajectories, our policy learns to rotate more than ten pen-like objects with different physical properties for multiple revolutions. We present a comprehensive analysis of our design choices and share the lessons learned during development.