Towards Safe Maneuvering of Double-Ackermann-Steering Robots with a Soft Actor-Critic Framework

📄 arXiv: 2510.10332v2 📥 PDF

作者: Kohio Deflesselle, Mélodie Daniel, Aly Magassouba, Miguel Aranda, Olivier Ly

分类: cs.RO, cs.AI

发布日期: 2025-10-11 (更新: 2025-10-14)

备注: 4 pages, 3 figures, 2 tables, Accepted for Safety of Intelligent and Autonomous Vehicles: Formal Methods vs. Machine Learning approaches for reliable navigation (SIAV-FM2L) an IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2025) workshop

💡 一句话要点

提出基于SAC的深度强化学习框架，用于双阿克曼转向机器人的安全操控

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 软演员-评论家算法 双阿克曼转向机器人 安全操控 后见之明经验回放 机器人导航 运动规划 四轮转向

📋 核心要点

  1. 双阿克曼转向机器人运动学约束强，传统规划器在复杂环境失效，难以安全操控。
  2. 利用SAC框架，结合HER和CrossQ，鼓励机器人高效操控并避免碰撞。
  3. 仿真结果表明，该策略能以高成功率（97%）到达目标点，同时有效避障。

📝 摘要（中文）

本文提出了一种基于软演员-评论家(SAC)的深度强化学习框架，用于双阿克曼转向移动机器人(DASMRs)的安全和精确操控。与全向或更简单的非全向机器人(如差速驱动机器人)不同，DASMRs面临着很强的运动学约束，这使得经典规划器在杂乱环境中变得脆弱。我们的框架利用后见之明经验回放(HER)和CrossQ叠加来提高操控效率，同时避开障碍物。对重型四轮转向漫游车的仿真结果表明，学习到的策略可以稳健地到达高达97%的目标位置，同时避开障碍物。我们的框架不依赖于手工制作的轨迹或专家演示。

🔬 方法详解

问题定义：论文旨在解决双阿克曼转向移动机器人在复杂环境中安全、精确操控的问题。现有方法，如传统规划器，由于DASMRs强烈的运动学约束，在杂乱环境中表现脆弱，难以生成可行的轨迹。此外，手工设计的轨迹或专家演示成本高昂且泛化能力有限。

核心思路：论文的核心思路是利用深度强化学习，特别是Soft Actor-Critic (SAC)算法，学习一个能够直接从环境状态映射到控制动作的策略。通过奖励函数的设计，鼓励机器人到达目标位置并避免碰撞，从而实现安全高效的操控。结合Hindsight Experience Replay (HER)和CrossQ，进一步提升学习效率和安全性。

技术框架：整体框架基于SAC算法，包括Actor网络和Critic网络。Actor网络负责生成控制动作，Critic网络负责评估当前状态-动作对的价值。HER用于从失败的经验中学习，提高样本利用率。CrossQ则通过引入额外的Q函数，用于评估策略的安全性，避免探索过程中出现危险行为。训练过程在仿真环境中进行，通过不断与环境交互，优化Actor和Critic网络。

关键创新：该论文的关键创新在于将SAC算法应用于DASMRs的操控问题，并结合HER和CrossQ来解决学习效率和安全性问题。与传统的基于规划的方法相比，该方法能够直接学习控制策略，无需手工设计轨迹或专家演示。CrossQ的引入是保证安全性的重要手段，能够有效避免探索过程中的碰撞。

关键设计：奖励函数的设计至关重要，包括到达目标位置的奖励、碰撞惩罚以及控制动作的正则化项。HER通过将失败的经验转化为成功的经验，提高了样本利用率。CrossQ通过引入额外的Q函数，用于评估策略的安全性，避免探索过程中出现危险行为。Actor和Critic网络采用深度神经网络，具体结构未知。

📊 实验亮点

实验结果表明，该方法能够使重型四轮转向漫游车在复杂环境中安全地到达高达97%的目标位置，同时有效避开障碍物。该方法无需手工制作轨迹或专家演示，能够自主学习控制策略，具有良好的泛化能力和鲁棒性。与传统的基于规划的方法相比，该方法能够更好地适应复杂环境和动态变化。

🎯 应用场景

该研究成果可应用于各种需要双阿克曼转向机器人的场景，例如：农业机器人、矿业机器人、物流运输机器人等。在这些场景中，机器人需要在复杂、非结构化的环境中自主导航和操控，该方法能够提高机器人的安全性和效率，降低人工干预的需求，具有重要的实际应用价值。

📄 摘要（原文）

We present a deep reinforcement learning framework based on Soft Actor-Critic (SAC) for safe and precise maneuvering of double-Ackermann-steering mobile robots (DASMRs). Unlike holonomic or simpler non-holonomic robots such as differential-drive robots, DASMRs face strong kinematic constraints that make classical planners brittle in cluttered environments. Our framework leverages the Hindsight Experience Replay (HER) and the CrossQ overlay to encourage maneuvering efficiency while avoiding obstacles. Simulation results with a heavy four-wheel-steering rover show that the learned policy can robustly reach up to 97% of target positions while avoiding obstacles. Our framework does not rely on handcrafted trajectories or expert demonstrations.