Learning Force Control for Legged Manipulation
作者: Tifanny Portela, Gabriel B. Margolis, Yandong Ji, Pulkit Agrawal
分类: cs.RO, cs.AI, cs.LG, eess.SY
发布日期: 2024-05-02 (更新: 2024-05-20)
备注: This work has been accepted to ICRA24, as well as the Loco-manipulation workshop at ICRA24
💡 一句话要点
提出一种无需力传感器的强化学习方法，实现腿式机器人力控操作。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 力控制 腿式机器人 无力传感器 阻抗控制
📋 核心要点
- 现有强化学习方法在接触任务中缺乏对接触力的显式控制，难以实现精确操作。
- 提出一种无需力传感器的强化学习方法，直接学习力控制策略，实现精确的力控操作。
- 在四足机器人平台上验证了该方法，实现了重力补偿和阻抗控制，提升了人机交互体验。
📝 摘要（中文）
在交互过程中控制接触力对于运动和操作任务至关重要。虽然基于模拟到真实的强化学习(RL)已在许多接触丰富的任务中取得成功，但当前的RL方法在没有明确调节力的情况下隐式地实现强力交互。我们提出了一种训练RL策略的方法，用于直接力控制，而无需访问力传感。我们在一个带有手臂的四足机器人的全身控制平台上展示了我们的方法。这种力控制使我们能够执行重力补偿和阻抗控制，从而解锁柔顺的全身操作。具有可变柔顺性的学习到的全身控制器使人类只需控制机械臂即可直观地遥控机器人，并且机器人的身体会自动调整以实现所需的位置和力。因此，人类遥控器可以轻松地演示各种各样的loco-manipulation任务。据我们所知，我们首次在腿式机械手中部署了学习到的全身力控制，为更多功能和适应性强的腿式机器人铺平了道路。
🔬 方法详解
问题定义：现有基于强化学习的接触控制方法，通常依赖于隐式地学习力，缺乏对接触力的直接控制，难以实现精确的力控操作，尤其是在腿式机器人这种高自由度、复杂接触的系统中。此外，依赖力传感器的方案成本高昂，且在恶劣环境下容易损坏。
核心思路：该论文的核心思路是利用强化学习，直接学习从状态到动作的映射，从而在没有显式力反馈的情况下，实现对接触力的控制。通过精心设计的奖励函数，引导智能体学习期望的力行为。这种方法避免了对力传感器的依赖，降低了成本，并提高了鲁棒性。
技术框架：整体框架包括一个四足机器人仿真环境，以及一个强化学习训练流程。训练流程使用近端策略优化（PPO）算法，智能体通过与环境交互，不断优化策略。策略网络输入机器人的状态信息（例如关节角度、速度等），输出关节力矩。环境模拟了机器人与外部环境的交互，并根据机器人的动作，计算奖励信号。
关键创新：该论文的关键创新在于提出了一种无需力传感器的力控制强化学习方法。通过巧妙地设计奖励函数，引导智能体学习期望的力行为，从而实现精确的力控操作。这种方法避免了对力传感器的依赖，降低了成本，并提高了鲁棒性。此外，该论文首次在腿式机器人平台上验证了该方法，证明了其在复杂接触环境下的有效性。
关键设计：奖励函数的设计是关键。奖励函数包括多个部分，例如力误差奖励、位置误差奖励、能量消耗惩罚等。力误差奖励鼓励智能体产生期望的接触力，位置误差奖励保证机器人能够到达目标位置，能量消耗惩罚防止智能体产生不必要的动作。此外，论文还使用了阻抗控制的思想，通过调整阻抗参数，实现对机器人柔顺性的控制。
🖼️ 关键图片
📊 实验亮点
该论文在四足机器人平台上验证了所提出的方法，实现了重力补偿和阻抗控制。实验结果表明，该方法能够有效地控制接触力，并实现精确的操作。与传统的基于力传感器的控制方法相比，该方法具有更高的鲁棒性和更低的成本。此外，通过人机交互实验，证明了该方法能够提升人机协作的效率和安全性。
🎯 应用场景
该研究成果可应用于腿式机器人的复杂操作任务，例如在崎岖地形上的物体搬运、装配等。此外，该方法还可以应用于人机协作场景，使机器人能够安全、高效地与人类协同工作。未来，该技术有望推动腿式机器人在物流、救援、巡检等领域的广泛应用。
📄 摘要（原文）
Controlling contact forces during interactions is critical for locomotion and manipulation tasks. While sim-to-real reinforcement learning (RL) has succeeded in many contact-rich problems, current RL methods achieve forceful interactions implicitly without explicitly regulating forces. We propose a method for training RL policies for direct force control without requiring access to force sensing. We showcase our method on a whole-body control platform of a quadruped robot with an arm. Such force control enables us to perform gravity compensation and impedance control, unlocking compliant whole-body manipulation. The learned whole-body controller with variable compliance makes it intuitive for humans to teleoperate the robot by only commanding the manipulator, and the robot's body adjusts automatically to achieve the desired position and force. Consequently, a human teleoperator can easily demonstrate a wide variety of loco-manipulation tasks. To the best of our knowledge, we provide the first deployment of learned whole-body force control in legged manipulators, paving the way for more versatile and adaptable legged robots.