EFGCL: Learning Dynamic Motion through Spotting-Inspired External Force Guided Curriculum Learning
作者: Keita Yoneda, Kento Kawaharazuka, Kei Okada
分类: cs.RO
发布日期: 2026-05-11
备注: Accepted at RA-L 2026, website - https://keitayoneda.github.io/kleiyn-efgcl/, YouTube - https://youtu.be/sFK00hm14No/
期刊: IEEE Robotics and Automation Letters (RA-L) 2026
💡 一句话要点
提出外力引导课程学习（EFGCL）框架，通过物理辅助加速四足机器人动态全身运动学习。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 四足机器人 课程学习 全身运动控制 物理引导 动态运动
📋 核心要点
- 现有强化学习在处理足式机器人动态运动时，因高失败率导致探索空间受限，难以有效习得复杂动作。
- 提出EFGCL方法，通过引入模拟体操保护动作的外部辅助力，引导机器人体验成功状态，从而优化探索过程。
- 实验证实该方法显著提升了学习效率，在跳跃任务中提速两倍，并成功在真实四足机器人上实现了复杂动态动作。
📝 摘要（中文）
通过强化学习（RL）学习足式机器人的动态全身运动极具挑战性，主要原因在于高失败风险导致探索效率低下且训练不稳定。本文提出了外力引导课程学习（EFGCL），这是一种基于物理引导原则的强化学习方法，在训练过程中引入外部辅助力。受竞技体操中“保护（spotting）”动作的启发，EFGCL使智能体无需依赖任务特定的奖励塑造或参考轨迹，即可物理体验成功的运动执行过程。在四足机器人跳跃、后空翻和侧空翻任务上的实验表明，EFGCL将跳跃任务的学习速度提高了约两倍，并成功习得了传统强化学习方法无法实现的复杂全身运动。此外，研究证明所学策略可部署于真实机器人，并复现出与仿真一致的运动效果。这些结果表明，允许智能体在训练早期体验成功的物理引导探索，是提高动态全身运动任务学习效率的有效通用策略。
🔬 方法详解
问题定义：足式机器人在学习高动态全身运动（如翻转）时，由于动作空间大且失败代价高，导致智能体难以在稀疏奖励环境下通过随机探索触达成功状态，现有方法往往过度依赖复杂的奖励函数设计或昂贵的参考轨迹数据。
核心思路：借鉴竞技体操中的“保护（spotting）”机制，通过在训练初期施加外部辅助力，强制机器人进入成功运动的轨迹区域，让智能体在物理层面“感知”成功，随后通过课程学习逐步减小辅助力，使策略平滑过渡到自主执行。
技术框架：该方法基于标准的强化学习框架，引入了一个外部力控制器。训练过程分为多个阶段，通过动态调整外力的大小和作用时间，引导机器人完成特定的动力学任务，无需预设参考轨迹，仅依靠任务目标奖励进行优化。
关键创新：核心创新在于将“物理引导”引入课程学习，将复杂的探索问题转化为受控的物理辅助学习问题。与模仿学习不同，它不依赖专家数据，而是通过物理干预直接降低了探索难度，具有极强的通用性。
关键设计：设计了基于课程的辅助力衰减策略，确保随着训练迭代，机器人对外部辅助的依赖逐渐降低。在损失函数设计上，保持了简洁性，避免了复杂的奖励塑造，重点在于通过物理约束引导策略收敛至动态稳定的解空间。
🖼️ 关键图片
📊 实验亮点
实验结果显示，EFGCL在四足机器人跳跃任务中将学习效率提升了约2倍。在后空翻和侧空翻等高难度任务中，传统RL方法均告失败，而EFGCL成功习得了稳定策略。此外，该方法在真实机器人上的零样本迁移表现优异，复现了与仿真高度一致的动态运动，验证了物理引导策略在真实物理环境中的鲁棒性与有效性。
🎯 应用场景
该研究主要应用于足式机器人的运动控制领域，特别是在需要高动态、复杂全身协调的场景中，如灾难救援、复杂地形巡检及特种作业机器人。其无需参考轨迹的特性，极大地降低了机器人开发门槛，为实现机器人自主习得复杂运动技能提供了通用解决方案，具有广阔的工业与科研应用前景。
📄 摘要（原文）
Learning dynamic whole-body motions for legged robots through reinforcement learning (RL) remains challenging due to the high risk of failure, which makes efficient exploration difficult and often leads to unstable learning. In this paper, we propose External Force Guided Curriculum Learning (EFGCL), a guided RL approach based on the principle of physical guidance, in which external assistive forces are introduced during training. Inspired by spotting in artistic gymnastics, EFGCL enables agents to physically experience successful motion executions without relying on task-specific reward shaping or reference trajectories. Experiments on a quadrupedal robot performing Jump, Backflip, and Lateral-Flip tasks demonstrate that EFGCL accelerates learning of the Jump task by approximately a factor of two and enables the acquisition of complex whole body motions that conventional RL methods fail to learn. We further show that the learned policies can be deployed on real robot, reproducing motions consistent with those observed in simulation. These results indicate that physically guided exploration, which allows agents to experience success early in training, is an effective and general strategy for improving learning efficiency in dynamic whole-body motion tasks.