Banana Kick: Response-Informed Skill Evolution for Humanoid Soccer
作者: Hao E. Zhang, Ruize Geng, Raihan Haque, Khalil Zbiss, Guanyang Luo, Hui-ping Wang, H. Eric Tseng, Ding Zhao
分类: cs.RO
发布日期: 2026-09-23
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出响应信息驱动的技能演化方法以解决类人足球踢球问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 类人机器人 强化学习 运动模仿 技能演化 响应敏感性 足球机器人 接触力学
📋 核心要点
- 现有方法在适应复杂的接触丰富技能时，可能会遭遇一阶学习饥饿的问题，导致优化失败。
- 论文提出的RISE方法通过响应敏感性评估，确保策略更新能有效提升踢球的可靠性和效果。
- 实验结果显示，RISE显著提高了踢球的旋转和准确性，评估分数提升19.8%，关节目标达成率从15.2%提高至50.9%。
📝 摘要（中文）
类人踢球需要协调的全身运动和精确的接触，而香蕉踢则要求产生球旋转和空气曲率的接触力学。虽然运动模仿提供了可靠的普通踢球先验，但强化学习可以在不改变基本踢球技术的情况下提高射门速度和准确性。我们提出了响应信息驱动的技能演化（RISE），一种用于策略适应的闭环目标延续方法。RISE通过评估缓存回放的响应敏感性来对目标变化进行排名，仅在产生验证的响应进展时接受更新。实验表明，RISE将普通踢演变为高旋转曲线踢，平均球旋转达到11.55 rad/s，评估分数提高了19.8%。
🔬 方法详解
问题定义：本论文旨在解决类人机器人在执行香蕉踢等复杂技能时的学习效率问题。现有方法在面对复杂的接触力学时，容易出现一阶学习饥饿，导致优化过程中的性能停滞。
核心思路：RISE方法通过利用响应敏感性来指导策略更新，确保在保持踢球可靠性的同时，能够有效地提升技能表现。通过这种方式，能够在复杂的接触环境中实现有效的学习和适应。
技术框架：RISE的整体架构包括目标变化的排名、响应敏感性评估和策略更新三个主要模块。首先，通过缓存的回放数据评估当前策略的响应敏感性，然后根据评估结果对目标变化进行排序，最后仅在产生有效响应进展时进行策略更新。
关键创新：RISE的核心创新在于其响应信息驱动的策略更新机制，与传统的强化学习方法相比，能够更有效地应对复杂的接触技能学习问题，避免一阶学习饥饿的现象。
关键设计：在RISE中，关键的参数设置包括目标变化的界限、响应敏感性的计算方法，以及更新策略时的验证机制。这些设计确保了在复杂环境中，策略更新的有效性和可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，RISE方法能够将普通踢演变为高旋转的曲线踢，平均球旋转达到11.55 rad/s，评估分数提高了19.8%。此外，关节目标达成率从15.2%提升至50.9%，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括类人机器人足球、运动训练模拟以及人机交互等。通过提升机器人在复杂环境中的运动能力，能够为未来的智能机器人在体育、娱乐和教育等领域的应用提供更强的技术支持，具有重要的实际价值和影响。
📄 摘要（原文）
Humanoid kicking requires coordinated whole-body motion and precise contact, while a banana kick demands contact mechanics that generate ball spin and aerodynamic curvature. Motion imitation provides a reliable ordinary-kick prior, but reinforcement learning may improve shot speed and placement accuracy without changing the underlying kicking technique. Adapting this prior to a qualitatively different contact-rich skill can fail even when the reward is dense and optimization remains stable. The failure occurs when the task objective is locally flat over the current policy's responses. We term this condition first-order learning starvation. To address it, we propose response-informed skill evolution (RISE), a closed-loop objective-continuation method for policy adaptation. RISE ranks bounded objective changes using response sensitivity estimated from cached rollouts and accepts updates only when they produce verified response progress while preserving kicking reliability. Our analysis shows that rescaling a saturated spin reward cannot recover first-order sensitivity at zero spin, whereas adapting coupled contact responses can provide a learnable path to spin generation. We integrate RISE into a humanoid kicking pipeline under calibrated contact and Magnus-force aerodynamics, and sim-to-real transfer. Experiments show that RISE evolves the ordinary kick into a high-spin curved kick with 11.55 rad/s mean ball spin, improves the mean evaluation score by 19.8% over a learning-progress curriculum, and raises joint target attainment from 15.2% to 50.9%. Ablations and response diagnostics support the mechanism, while 30 motion-capture-recorded physical trials demonstrate consistent hardware transfer of the learned curved kick. Project website: https://haozhang-thu.github.io/bananakick/