VertiSelector: Automatic Curriculum Learning for Wheeled Mobility on Vertically Challenging Terrain

📄 arXiv: 2409.17469v4 📥 PDF

作者: Tong Xu, Chenhui Pan, Xuesu Xiao

分类: cs.RO

发布日期: 2024-09-26 (更新: 2025-07-17)

💡 一句话要点

VertiSelector：基于自动课程学习的轮式机器人垂直地形移动方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 自动课程学习 轮式机器人 复杂地形 泛化能力

📋 核心要点

  1. 现有强化学习方法在大量手动设计的仿真环境中训练时，样本效率较低，难以泛化到真实世界。
  2. VertiSelector通过优先选择具有较高TD误差的垂直挑战性地形进行训练，使机器人不断在能力边缘学习。
  3. 实验结果表明，VertiSelector能显著提高样本效率和泛化能力，在真实环境中成功率提升23.08%。

📝 摘要（中文）

本文提出了一种名为VertiSelector (VS) 的自动课程学习框架，旨在提高强化学习在复杂地形上的学习效率和泛化能力。该框架通过选择性地采样训练地形来增强学习效果。VS 优先选择具有较高时序差分 (TD) 误差的垂直挑战性地形，使机器人能够在不断发展的能力边缘进行学习。通过动态调整采样重点，VS 显著提高了基于Chrono多物理引擎构建的VW-Chrono模拟器中的样本效率和泛化能力。在Verti-4-Wheeler平台上进行的仿真和物理实验结果表明，VS通过高效的训练采样，在成功率方面实现了23.08%的提升，并能稳健地泛化到真实世界。

🔬 方法详解

问题定义：现有强化学习方法在复杂地形的轮式机器人控制中，面临样本效率低和泛化能力差的问题。手动设计的仿真环境难以覆盖真实世界的多样性，导致模型在真实环境中表现不佳。因此，需要一种能够自动选择合适训练样本，提高学习效率和泛化能力的方法。

核心思路：VertiSelector的核心思路是自动课程学习，即根据机器人的学习状态，动态调整训练样本的难度。具体而言，优先选择那些机器人当前难以克服，但又具有一定挑战性的地形（即TD误差较高的地形）进行训练。这种“在能力边缘学习”的方式可以最大化学习效率，并提高模型的泛化能力。

技术框架：VertiSelector框架主要包含以下几个模块：1) 环境模拟器（基于VW-Chrono），用于生成各种地形；2) 强化学习智能体，负责控制机器人的运动；3) TD误差计算模块，用于评估当前智能体在不同地形上的学习效果；4) 地形选择器，根据TD误差，动态选择下一轮训练的地形。整个流程是一个循环迭代的过程，智能体在选定的地形上进行训练，TD误差被计算并用于更新地形选择策略，从而实现自动课程学习。

关键创新：VertiSelector的关键创新在于自动地形选择策略。与传统方法中手动设计课程或随机采样不同，VertiSelector根据TD误差动态调整采样分布，优先选择对当前智能体最具挑战性的地形。这种自适应的课程学习方式能够更有效地利用训练样本，提高学习效率和泛化能力。

关键设计：VertiSelector的关键设计包括：1) TD误差的计算方式，采用了常用的时序差分学习方法，并进行了一定的改进，以适应复杂地形的特点；2) 地形选择策略，采用了一种基于概率采样的策略，TD误差越高的地形，被选择的概率越高；3) 强化学习智能体的网络结构和损失函数，采用了常见的深度强化学习算法，如DDPG或SAC，并根据具体任务进行了调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VertiSelector在Verti-4-Wheeler平台上取得了显著的性能提升。在仿真环境中，与随机采样相比，VertiSelector能够将成功率提高23.08%。更重要的是，VertiSelector训练的模型能够很好地泛化到真实世界，在真实地形上的表现也优于其他基线方法。这些结果验证了VertiSelector在提高学习效率和泛化能力方面的有效性。

🎯 应用场景

VertiSelector技术可应用于各种需要在复杂地形上移动的轮式机器人，例如：火星探测车、野外救援机器人、农业机器人等。通过自动课程学习，可以显著降低人工干预，提高机器人在未知环境中的适应能力，从而扩展机器人的应用范围和实际价值。未来，该技术有望应用于更广泛的机器人领域，例如：四足机器人、无人机等。

📄 摘要（原文）

Reinforcement Learning (RL) has the potential to enable extreme off-road mobility by circumventing complex kinodynamic modeling, planning, and control by simulated end-to-end trial-and-error learning experiences. However, most RL methods are sample-inefficient when training in a large amount of manually designed simulation environments and struggle at generalizing to the real world. To address these issues, we introduce VertiSelector (VS), an automatic curriculum learning framework designed to enhance learning efficiency and generalization by selectively sampling training terrain. VS prioritizes vertically challenging terrain with higher Temporal Difference (TD) errors when revisited, thereby allowing robots to learn at the edge of their evolving capabilities. By dynamically adjusting the sampling focus, VS significantly boosts sample efficiency and generalization within the VW-Chrono simulator built on the Chrono multi-physics engine. Furthermore, we provide simulation and physical results using VS on a Verti-4-Wheeler platform. These results demonstrate that VS can achieve 23.08% improvement in terms of success rate by efficiently sampling during training and robustly generalizing to the real world.