WARL: Wrench-Augmented Reinforcement Learning for Task-Agnostic Learning in Legged Robots

📄 arXiv: 2607.24036v1 📥 PDF

作者: Keita Yoneda, Kento Kawaharazuka, Kei Okada

分类: cs.RO

发布日期: 2026-07-27

备注: Accepted at IROS 2026, website-https://keitayoneda.github.io/kleiyn-warl/, youtube-https://youtu.be/l-drMNncQp0

💡 一句话要点

提出Wrench-Augmented强化学习以解决腿部机器人探索能力不足问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 腿部机器人 探索能力 课程学习 力与扭矩 多样化环境 自主导航

📋 核心要点

  1. 现有的腿部机器人强化学习方法在探索能力上受到关节空间限制，导致学习效率低下。
  2. 本文提出的WARL方法通过引入力和扭矩，结合成功率课程机制，增强了探索能力。
  3. 实验结果显示，WARL在多种地形和任务中表现出色，无需复杂的奖励设计，学习效率显著提升。

📝 摘要（中文）

尽管腿部机器人的强化学习在运动性能上取得了显著进展，但由于动作受限于关节空间，探索能力受到限制。为了解决这一问题，本文提出了一种新的方法——Wrench-Augmented Reinforcement Learning（WARL），通过将力和扭矩引入动作空间，结合基于成功率的课程机制，扩展了学习初期的探索能力。实验表明，WARL能够在多样化的地形和运动任务中稳健学习，无需特定地形的奖励调整或复杂的课程设计。此外，消融实验验证了逐步消除扭矩的切换课程的有效性。研究还指出，引入扭矩可能导致行为未能充分利用机器人的物理特性，这为未来的设计提出了挑战。

🔬 方法详解

问题定义：本文旨在解决腿部机器人在强化学习中由于动作受限于关节空间而导致的探索能力不足的问题。现有方法在多样化环境中学习效率低下，难以适应不同的任务和地形。

核心思路：WARL方法的核心在于将力和扭矩引入动作空间，以增强机器人的探索能力，并结合成功率课程机制，逐步引导学习过程，使机器人能够在早期阶段进行更有效的探索。

技术框架：该方法的整体架构包括两个主要模块：一是基于扭矩的探索机制，二是成功率驱动的课程学习。通过这两个模块的协同作用，机器人能够在多样化的环境中进行有效学习。

关键创新：WARL的主要创新在于将扭矩引入动作空间，这与传统的仅依赖关节控制的强化学习方法有本质区别。通过引入扭矩，机器人能够更灵活地适应不同的环境和任务。

关键设计：在技术细节上，WARL采用了特定的损失函数来平衡扭矩和关节控制的学习过程，同时设计了逐步消除扭矩的切换课程，以确保机器人在学习过程中逐渐适应其物理结构。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，WARL方法在不同地形和运动任务中表现出色，能够在不需要特定地形奖励调整的情况下，稳健学习并适应多样化环境。与传统方法相比，WARL显著提高了学习效率，尤其在复杂任务中表现出更高的成功率。

🎯 应用场景

该研究的潜在应用领域包括自主移动机器人、救援机器人以及其他需要在复杂环境中进行导航和操作的机器人系统。通过提高腿部机器人的学习效率，WARL方法能够加速其在实际应用中的部署，提升机器人在多样化任务中的适应能力。

📄 摘要（原文）

While reinforcement learning for legged robots has achieved high motor performance, it has been constrained by the limited exploration capability of actions confined to the joint space. To address this issue, this study proposes a new method, Wrench-Augmented Reinforcement Learning (WARL), which introduces a wrenche (force and torque) into the action space. The proposed method combines wrench-guided exploration with a success rate-based curriculum mechanism to expand exploration capabilities in the early stages of learning, with the ultimate goal of acquiring behaviors based solely on joint control. Experiments using a quadruped robot demonstrated that WARL can learn robustly across diverse terrains and motor tasks without requiring terrain-specific reward adjustments or complex curriculum designs. Furthermore, an ablation study verified the effectiveness of the Switching Curriculum, which gradually eliminates the wrench. On the other hand, we also show that introducing a wrench can encourage behaviors that do not sufficiently exploit the robot's physical embodiment. These findings suggest that while wrench-based exploration enhancement is effective for improving learning efficiency, designing it in a way that is consistent with the robot's physical structure is a critical future challenge.