Safe Reinforcement Learning of Robot Trajectories in the Presence of Moving Obstacles
作者: Jonas Kiemel, Ludovic Righetti, Torsten Kröger, Tamim Asfour
分类: cs.RO
发布日期: 2024-11-08
备注: IEEE Robotics and Automation Letters (RA-L); 8 pages; 7 figures
💡 一句话要点
提出一种安全强化学习方法，用于移动障碍物环境下的机器人轨迹生成
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 安全强化学习 机器人轨迹规划 移动障碍物 碰撞避免 人机协作
📋 核心要点
- 现有方法难以在动态环境中保证机器人轨迹的安全性，尤其是在存在移动障碍物时。
- 利用强化学习训练备份策略，在主策略存在碰撞风险时提供安全替代动作，确保机器人安全。
- 实验表明，该方法在确定性和随机环境中均有效，并能在真实机器人上实时生成安全轨迹。
📝 摘要（中文）
本文提出了一种在移动障碍物环境中学习无碰撞机器人轨迹的方法。首先，我们使用无模型的强化学习训练一个备份策略，用于从任意初始机器人状态生成规避动作。在学习其他任务的策略时，该备份策略可用于估计潜在的碰撞风险，并在估计的风险过高时提供替代动作。无论选择哪个动作，我们的动作空间都确保不会违反机器人关节的运动学限制。我们分析并评估了两种不同的碰撞风险估计方法。在后台执行的物理模拟计算成本高昂，但在确定性环境中提供最佳结果。如果使用基于数据的风险估计器，则计算量会显著减少，但会引入额外的误差源。为了评估，我们成功地学习了到达任务和篮球任务，同时保持较低的碰撞风险。结果表明，我们的方法对于确定性和随机环境（包括人机场景和球环境，在这些环境中没有状态可以被认为是永久安全的）的有效性。通过使用真实机器人进行实验，我们表明我们的方法可以实时生成安全轨迹。
🔬 方法详解
问题定义：论文旨在解决移动障碍物环境下机器人轨迹的安全生成问题。现有方法在处理动态环境和复杂交互时，难以保证机器人运动过程中的安全性，容易发生碰撞。尤其是在人机协作等场景下，对安全性的要求更高。现有方法通常计算复杂度高，难以实时应用。
核心思路：论文的核心思路是利用强化学习训练一个备份策略，该策略能够在机器人面临碰撞风险时，提供一个安全的替代动作。主策略负责完成特定任务，而备份策略则作为安全保障，在必要时介入，避免碰撞。通过这种方式，可以在保证任务完成的同时，最大限度地降低碰撞风险。
技术框架：整体框架包含两个主要部分：主策略学习和备份策略学习。主策略使用强化学习算法（具体算法未知）学习完成特定任务，如到达目标点或投篮。备份策略则使用无模型的强化学习算法，学习从任意状态生成规避动作。在执行过程中，系统会评估当前状态的碰撞风险，如果风险超过阈值，则使用备份策略提供的动作。论文还提出了两种风险评估方法：基于物理模拟和基于数据的风险估计器。
关键创新：论文的关键创新在于将备份策略与主策略相结合，形成一种安全强化学习框架。备份策略能够在运行时提供安全保障，而无需重新训练主策略。此外，论文还提出了两种不同的风险评估方法，可以根据计算资源和环境的确定性程度进行选择。这种方法能够在动态环境中实现安全、实时的机器人轨迹生成。
关键设计：论文的关键设计包括：1) 动作空间的设计，确保不违反机器人关节的运动学限制；2) 备份策略的训练方式，使其能够从任意初始状态生成规避动作；3) 风险评估方法的选择，根据环境特点选择合适的评估方法。具体参数设置、损失函数和网络结构等技术细节未知。
🖼️ 关键图片
📊 实验亮点
论文通过实验验证了该方法在确定性和随机环境中的有效性。在到达任务和篮球任务中，机器人能够成功完成任务，同时保持较低的碰撞风险。在真实机器人实验中，该方法能够实时生成安全轨迹。实验结果表明，该方法能够有效地提高机器人在动态环境中的安全性。
🎯 应用场景
该研究成果可应用于人机协作、自动驾驶、仓储物流等领域。在人机协作中，可以确保机器人在与人交互时的安全性，避免碰撞事故。在自动驾驶领域，可以提高车辆在复杂交通环境中的安全性。在仓储物流领域，可以优化机器人的运动轨迹，提高效率并降低碰撞风险。该研究对于提升机器人智能化水平和安全性具有重要意义。
📄 摘要（原文）
In this paper, we present an approach for learning collision-free robot trajectories in the presence of moving obstacles. As a first step, we train a backup policy to generate evasive movements from arbitrary initial robot states using model-free reinforcement learning. When learning policies for other tasks, the backup policy can be used to estimate the potential risk of a collision and to offer an alternative action if the estimated risk is considered too high. No matter which action is selected, our action space ensures that the kinematic limits of the robot joints are not violated. We analyze and evaluate two different methods for estimating the risk of a collision. A physics simulation performed in the background is computationally expensive but provides the best results in deterministic environments. If a data-based risk estimator is used instead, the computational effort is significantly reduced, but an additional source of error is introduced. For evaluation, we successfully learn a reaching task and a basketball task while keeping the risk of collisions low. The results demonstrate the effectiveness of our approach for deterministic and stochastic environments, including a human-robot scenario and a ball environment, where no state can be considered permanently safe. By conducting experiments with a real robot, we show that our approach can generate safe trajectories in real time.