Hold My Beer: Learning Gentle Humanoid Locomotion and End-Effector Stabilization Control

📄 arXiv: 2505.24198v2 📥 PDF

作者: Yitang Li, Yuanhang Zhang, Wenli Xiao, Chaoyi Pan, Haoyang Weng, Guanqi He, Tairan He, Guanya Shi

分类: cs.RO

发布日期: 2025-05-30 (更新: 2025-06-03)

💡 一句话要点

提出SoFTA框架，解决人形机器人运动中末端执行器稳定控制难题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 人形机器人 末端执行器稳定 强化学习 双智能体框架 运动控制

📋 核心要点

  1. 人形机器人运动中末端执行器稳定控制面临挑战，步态的鲁棒控制与末端执行器的高精度控制存在动态不匹配。
  2. SoFTA框架将上下身控制解耦为不同频率的智能体，分别优化步态和末端执行器稳定，降低策略干扰。
  3. 实验表明，SoFTA显著降低末端执行器加速度，提升稳定性，可完成携带液体、稳定拍摄等精细任务。

📝 摘要（中文）

本文提出了一种名为SoFTA（Slow-Fast Two-Agent）的框架，旨在解决人形机器人在运动过程中末端执行器（EE）稳定控制的难题。该框架将上身和下身控制解耦为两个独立的智能体，分别以不同的频率和奖励函数运行。这种时间和目标上的分离减轻了策略之间的干扰，并实现了协调的全身行为。SoFTA以100 Hz的频率执行上身动作以进行精确的EE控制，并以50 Hz的频率执行下身动作以实现稳健的步态。相对于基线方法，SoFTA将EE加速度降低了2-5倍，并且性能更接近人类水平的稳定性，从而能够执行诸如携带几乎满杯的液体、在运动过程中捕获稳定的视频以及在保持EE稳定性的情况下抑制扰动等精细任务。

🔬 方法详解

问题定义：人形机器人在运动过程中，如何实现末端执行器（End-Effector, EE）的稳定控制是一个难题。现有的方法难以同时兼顾步态的鲁棒性和EE的高精度控制，因为步态控制需要慢速、稳健的策略，而EE稳定需要快速、精确的校正。这种任务动态的不匹配导致控制策略相互干扰，影响整体性能。

核心思路：论文的核心思路是将人形机器人的控制解耦为两个独立的智能体：一个负责下身运动（步态控制），另一个负责上身运动（EE稳定）。这两个智能体以不同的频率运行，并使用不同的奖励函数进行训练。通过这种时间和目标上的分离，可以减轻策略之间的干扰，并允许每个智能体专注于其特定的任务。

技术框架：SoFTA框架包含两个主要的智能体：下身智能体和上身智能体。下身智能体以50 Hz的频率运行，负责控制机器人的步态，目标是实现稳健的运动。上身智能体以100 Hz的频率运行，负责控制机器人的上身姿态，目标是稳定EE。这两个智能体通过共享状态信息进行协调，从而实现全身的协同运动。整体流程是，首先下身智能体根据当前状态选择一个步态动作，然后上身智能体根据当前状态和下身智能体的动作选择一个EE稳定动作，最后将这两个动作组合起来控制机器人。

关键创新：SoFTA框架的关键创新在于将人形机器人的控制解耦为两个独立的智能体，并允许它们以不同的频率和奖励函数运行。这种解耦可以有效地减轻策略之间的干扰，并允许每个智能体专注于其特定的任务。此外，SoFTA框架还通过共享状态信息来实现两个智能体之间的协调，从而实现全身的协同运动。

关键设计：SoFTA框架的关键设计包括：1) 使用不同的奖励函数来训练下身和上身智能体，以分别优化步态的鲁棒性和EE的稳定性；2) 使用不同的频率来运行下身和上身智能体，以适应它们不同的任务动态；3) 使用共享状态信息来实现下身和上身智能体之间的协调。具体的网络结构和损失函数等细节在论文中进行了详细描述，但摘要中未提供具体参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SoFTA框架能够显著降低末端执行器的加速度，相对于基线方法降低了2-5倍，并且性能更接近人类水平的稳定性。这使得机器人能够完成诸如携带几乎满杯的液体、在运动过程中捕获稳定的视频以及在保持EE稳定性的情况下抑制扰动等精细任务。这些结果验证了SoFTA框架的有效性。

🎯 应用场景

该研究成果可应用于人形机器人辅助生活、工业生产等领域。例如，在家庭服务中，机器人可以端茶倒水、递送物品；在工业环境中，机器人可以进行精细操作、搬运易碎品。该技术提升了机器人在复杂环境中的适应性和操作能力，为人形机器人的广泛应用奠定了基础。

📄 摘要（原文）

Can your humanoid walk up and hand you a full cup of beer, without spilling a drop? While humanoids are increasingly featured in flashy demos like dancing, delivering packages, traversing rough terrain, fine-grained control during locomotion remains a significant challenge. In particular, stabilizing a filled end-effector (EE) while walking is far from solved, due to a fundamental mismatch in task dynamics: locomotion demands slow-timescale, robust control, whereas EE stabilization requires rapid, high-precision corrections. To address this, we propose SoFTA, a Slow-Fast Two-Agent framework that decouples upper-body and lower-body control into separate agents operating at different frequencies and with distinct rewards. This temporal and objective separation mitigates policy interference and enables coordinated whole-body behavior. SoFTA executes upper-body actions at 100 Hz for precise EE control and lower-body actions at 50 Hz for robust gait. It reduces EE acceleration by 2-5x relative to baselines and performs much closer to human-level stability, enabling delicate tasks such as carrying nearly full cups, capturing steady video during locomotion, and disturbance rejection with EE stability.