Locomotion-Grounded Humanoid Soccer: Task-Gated Reinforcement Learning of a Multi-Directional Kicking Library
作者: Abu Hanif Muhammad Syarubany, Jaehyun Jang, Hwanhee Kim, Kyuwon Kim, Seungyeon Ryu, Chang D. Yoo
分类: cs.RO
发布日期: 2026-09-30
备注: Submitted to IEEE ICRA 2027
💡 一句话要点
提出基于任务门控强化学习的多方向踢球库以解决人形足球运动控制问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)
关键词: 人形机器人 强化学习 运动控制 多方向踢球 机器人足球 任务门控 运动策略
📋 核心要点
- 现有的人形足球系统主要依赖于运动参考锚点，导致运动能力训练受限于特定的指令分布，未能充分发挥其潜力。
- 本文提出了一种新颖的训练框架，首先训练通用的运动策略，然后在其上添加任务门控的踢球技能，从而提升运动能力的灵活性和多样性。
- 实验结果表明，所提出的方法在射门准确性和运动控制方面显著优于现有系统，能够处理多种方向的踢球任务。
📝 摘要（中文）
近年来的人形足球系统通过运动跟踪来导出运动，通常是将运动参考锚点指向球。这种方法虽然能产生良好的射门效果，但运动能力的训练仅限于狭窄的、确定性的指令分布，未能独立评估。本文提出了一种新的方法，首先训练一个通用的、基于指令的运动策略作为基础，然后在其上添加N个运动引导的踢球技能，形成任务门控层。这样，运动能力的可达步态空间由运动课程设定，而非参考片段。我们在29自由度的Unitree G1机器人上实现了这一方法，并验证了七种重定向的踢球技能，涵盖259.5度的目标方向，报告了射门准确性、指令跟踪、地形适应和推力恢复等结果。
🔬 方法详解
问题定义：本文旨在解决现有的人形足球系统在运动能力训练上存在的局限性，特别是其依赖于狭窄的指令分布，未能独立评估运动能力的问题。
核心思路：论文的核心思路是首先训练一个通用的、基于指令的运动策略作为基础，然后在此基础上添加多个运动引导的踢球技能，形成任务门控层，以此提升运动能力的灵活性和多样性。
技术框架：整体架构包括两个主要模块：首先是通用运动策略的训练，其次是基于该策略的多种踢球技能的添加。每个技能都从相同的可指令状态出发，确保运动的连贯性。
关键创新：最重要的技术创新在于将运动能力的训练与任务技能的添加相结合，形成了一个更为高效的运动控制框架，避免了传统方法中技能间的复杂交互。
关键设计：在参数设置上，采用了适应性损失函数以平衡不同技能的训练，网络结构上则使用了深度强化学习框架，确保了策略的有效性和稳定性。实验中还针对不同地形和推力恢复进行了优化。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的多方向踢球库在射门准确性上显著提升，能够处理259.5度的目标方向，且在地形适应和推力恢复方面表现优异。与传统方法相比，射门准确性和运动控制能力均有显著改善，验证了该方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人足球、智能运动训练和人形机器人控制等。通过提升机器人在复杂环境中的运动能力，能够为未来的智能体育和娱乐活动提供更为灵活和高效的解决方案，具有重要的实际价值和影响。
📄 摘要（原文）
Recent humanoid soccer systems make motion tracking the substrate and derive locomotion from it, typically by steering a motion-reference anchor toward the ball. This yields strong shooting results, but locomotion is trained only on the narrow, deterministic command distribution ball approach induces, never evaluated as a capability in its own right. We invert the stack: a general, command-conditioned locomotion policy is trained first as the substrate, and N motion-guided kicking skills are added on top as task-gated layers, so the reachable gait space is set by the locomotion curriculum rather than any reference clip. Because every skill starts from and returns to this same commandable state, locomotion also becomes a composition hub (O(N) transitions rather than O(N^2)), and post-strike stabilisation is handed back to the trained controller rather than scripted per clip. We instantiate this on a 29-DoF Unitree G1 with seven retargeted kicking skills spanning 259.5 degrees of nominal aim direction, including lateral, rearward and weak-foot strikes a single forward-facing reference cannot express, and report shooting accuracy alongside command-tracking, terrain and push-recovery results with the full skill library attached, an axis prior humanoid soccer systems do not report. The library is validated on hardware across forward, lateral, rearward and commanded approaches.