Training Directional Locomotion for Quadrupedal Low-Cost Robotic Systems via Deep Reinforcement Learning
作者: Peter Böhm, Archie C. Chapman, Pauline Pounds
分类: cs.RO, cs.AI
发布日期: 2025-03-14
备注: Australasian Conference on Robotics and Automation (ACRA) 2022
💡 一句话要点
提出基于深度强化学习的四足低成本机器人定向运动训练方法
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 深度强化学习 四足机器人 定向运动 航向随机化 低成本机器人
📋 核心要点
- 现有四足机器人运动控制方法在低成本硬件上泛化性差，难以适应复杂地形和任务。
- 通过深度强化学习，结合航向随机化策略，提升机器人探索能力，学习更鲁棒的运动控制策略。
- 实验表明，该方法训练的机器人能成功完成包含频繁转弯和直线运动的复杂轨迹导航任务。
📝 摘要（中文）
本文提出了一种基于深度强化学习(DRL)的四足低成本机器人在真实环境中进行定向运动训练的方法。特别地，我们利用机器人必须遵循的航向随机化来促进对动作-状态转移的探索，这对于学习前进运动以及航向调整非常有用。在episode重置时，将航向更改为当前偏航角加上从正态分布中抽取的随机值，从而产生能够遵循复杂轨迹的策略，这些轨迹涉及频繁的双向转弯以及长的直线延伸。通过重复改变航向，该方法使机器人在训练平台内保持运动，从而减少了人工干预和训练期间手动重置的需求。在定制的低成本四足机器人上的真实世界实验证明了我们方法的有效性，该机器人成功地完成了所有验证测试。当使用其他方法进行训练时，机器人仅在前进运动测试中成功，而在需要转弯时失败。
🔬 方法详解
问题定义：现有的四足机器人运动控制方法，尤其是在低成本机器人平台上，通常难以实现鲁棒的定向运动。这些方法可能在特定环境中表现良好，但在面对新的环境或需要频繁转弯的复杂轨迹时，性能会显著下降。手动调整参数或使用传统控制算法难以适应各种情况，且泛化能力不足。因此，需要一种能够自动学习并适应不同运动需求的控制策略。
核心思路：本文的核心思路是利用深度强化学习（DRL）来训练四足机器人的运动控制策略。为了提高策略的鲁棒性和泛化能力，引入了航向随机化（heading randomization）技术。通过在训练过程中随机改变机器人需要遵循的航向，鼓励机器人探索更多的状态空间，从而学习到更适应不同运动方向的控制策略。
技术框架：整体框架包括以下几个主要部分：1) 机器人环境：一个模拟或真实的四足机器人平台，提供状态信息（如关节角度、速度、姿态等）和执行动作的接口。2) 深度强化学习算法：使用一种合适的DRL算法（具体算法未知，但从描述来看，可能是一种Actor-Critic算法），用于学习运动控制策略。3) 奖励函数：设计一个奖励函数，鼓励机器人前进、保持平衡、遵循目标航向等。4) 航向随机化模块：在每个episode开始时，随机改变机器人的目标航向，迫使机器人学习适应不同的运动方向。
关键创新：该方法最重要的创新点在于航向随机化策略。传统的DRL训练方法通常只关注前进运动，而忽略了转弯等其他运动方向。通过随机改变航向，该方法能够有效地增加训练数据的多样性，提高策略的泛化能力，使机器人能够适应更复杂的运动轨迹。这种方法特别适用于低成本机器人，因为它们通常具有较低的精度和较高的不确定性，需要更鲁棒的控制策略。
关键设计：具体的参数设置、损失函数和网络结构未知。但可以推测，奖励函数可能包含以下几个部分：1) 前进速度奖励：鼓励机器人向前移动。2) 航向对齐奖励：鼓励机器人保持与目标航向对齐。3) 平衡奖励：惩罚机器人的倾倒或不稳定的姿态。4) 动作惩罚：避免机器人执行过大的动作。网络结构可能采用Actor-Critic架构，其中Actor网络用于输出动作，Critic网络用于评估状态价值。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用该方法训练的低成本四足机器人能够成功完成包含频繁转弯和直线运动的复杂轨迹导航任务。相比于其他训练方法，该方法能够显著提高机器人在复杂环境中的运动性能。具体性能数据未知，但摘要中明确指出，其他方法训练的机器人仅能完成前进运动测试，而本文提出的方法能够成功完成所有验证测试。
🎯 应用场景
该研究成果可应用于低成本四足机器人的自主导航、搜索救援、巡检等领域。通过深度强化学习训练，机器人能够适应复杂地形和任务需求，实现更智能、更灵活的运动控制。未来，该方法有望推广到其他类型的机器人，提升机器人在各种实际场景中的应用能力。
📄 摘要（原文）
In this work we present Deep Reinforcement Learning (DRL) training of directional locomotion for low-cost quadrupedal robots in the real world. In particular, we exploit randomization of heading that the robot must follow to foster exploration of action-state transitions most useful for learning both forward locomotion as well as course adjustments. Changing the heading in episode resets to current yaw plus a random value drawn from a normal distribution yields policies able to follow complex trajectories involving frequent turns in both directions as well as long straight-line stretches. By repeatedly changing the heading, this method keeps the robot moving within the training platform and thus reduces human involvement and need for manual resets during the training. Real world experiments on a custom-built, low-cost quadruped demonstrate the efficacy of our method with the robot successfully navigating all validation tests. When trained with other approaches, the robot only succeeds in forward locomotion test and fails when turning is required.