Hierarchical Reinforcement Learning for Collision-Free Locomotion of an Underactuated Biped
作者: Jagannath Prasad Sahoo, Saurabh Kumar, Surya Prakash S. K., Samiran Datta, Abhay Dwivedi, Amit Shukla
分类: cs.RO, cs.AI, cs.HC, eess.SY
发布日期: 2026-10-05
💡 一句话要点
提出层次化强化学习以解决双足机器人避障问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 层次化强化学习 双足机器人 避障 欠驱动系统 软演员-评论家 动态环境 机器人控制
📋 核心要点
- 现有方法在双足机器人避障时，无法在不影响平衡的情况下偏离路径，尤其是在欠驱动平台上。
- 本文提出的层次化强化学习框架通过高层和低层策略联合训练，实现了有效的避障控制。
- 实验结果表明，所提方法在静态和动态环境中的成功率分别达到98.0%和88.0%，显著优于现有基线方法。
📝 摘要（中文）
双足机器人在避障时无法偏离路径而不影响平衡，尤其是在缺乏足够驱动的情况下。本文提出了一种层次化强化学习框架，其中高层策略观察机器人姿态、36个射线探测距离、动态障碍物状态及局部目标，并每十个控制步骤输出一次身体速度指令。低层策略则通过PD控制跟踪这些指令。通过与软演员-评论家（SAC）联合训练，所提出的方法在静态和动态环境中分别以98.0%和88.0%的成功率达到目标，显著优于现有规划方法。
🔬 方法详解
问题定义：本文旨在解决双足机器人在动态环境中避障时的平衡问题，现有方法在欠驱动平台上面临路径偏离与平衡保持的矛盾。
核心思路：通过层次化强化学习框架，将高层策略与低层策略结合，高层策略负责规划速度指令，低层策略负责精确跟踪，从而实现平衡与避障的有效协调。
技术框架：整体架构包括高层策略和低层策略两个模块。高层策略基于机器人姿态和环境信息生成速度指令，低层策略则通过PD控制实现对关节目标的跟踪。两者通过软演员-评论家（SAC）算法联合训练。
关键创新：最重要的创新在于提出了高层与低层策略的联合训练机制，使得机器人能够在复杂环境中实现高效的避障，同时保持稳定的步态。
关键设计：在训练过程中，使用了36个射线探测器来获取环境信息，并设计了多项奖励机制以促进策略学习，确保每个观察通道和奖励项对性能的贡献。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提方法在100次评估试验中，静态环境下成功率达到98.0%，动态环境下成功率为88.0%，明显优于现有的规划方法（最高78.0%和68.0%）。路径长度与A*算法参考路径的偏差仅为4%。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、救援机器人和人形机器人等，能够在复杂环境中实现安全高效的移动。未来，该方法可扩展到其他类型的机器人和更复杂的动态场景，推动机器人自主导航技术的发展。
📄 摘要（原文）
A bipedal robot cannot deviate from its path to avoid an obstacle without disturbing its balance, and this coupling is most severe on underactuated platforms such as the biped considered here, which has four actuated joints per leg and no hip or ankle roll. This paper presents a Hierarchical Reinforcement Learning (HRL) framework in which a High-Level (HL) policy observes the robot pose, 36 raycast proximity measurements, moving-obstacle states, and a receding-horizon local goal, and outputs a body-velocity command $(v_x, v_y, ω_{yaw})$ every ten control steps, while a velocity-conditioned Low-Level (LL) policy tracks each command through PD-controlled joint targets. Both policies are trained jointly with Soft Actor-Critic (SAC). Because the converged gait is task-agnostic, it is frozen and driven by classical planners over the same command interface, yielding three controlled baselines: SAC+A, SAC+RRT, and SAC+APF. Across 100 evaluation trials per method in randomized PyBullet environments, the proposed method reaches the goal in 98.0% of static and 88.0% of dynamic trials, against at most 78.0% and 68.0% for the planner hybrids, with path lengths within 4% of the A* reference, and ablations confirm that each observation channel and reward term contributes materially to this performance.