Learning Perceptive Humanoid Locomotion over Challenging Terrain
作者: Wandong Sun, Baoshi Cao, Long Chen, Yongbo Su, Yang Liu, Zongwu Xie, Hong Liu
分类: cs.RO
发布日期: 2025-03-02 (更新: 2025-04-02)
💡 一句话要点
提出基于蒸馏框架的感知人形机器人运动控制方法，提升崎岖地形适应性
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 人形机器人 运动控制 崎岖地形 师生蒸馏 变分信息瓶颈
📋 核心要点
- 现有的人形机器人运动控制主要依赖本体感觉，在崎岖地形中表现出局限性和安全性问题。
- 论文提出师生蒸馏框架，利用oracle策略指导学生策略，并训练带变分信息瓶颈的世界模型进行去噪。
- 实验表明，该方法显著提升了在不可靠地形估计场景下的性能，并在复杂地形中实现了长距离自主导航。
📝 摘要（中文）
人形机器人被设计用于在类似人类所遇到的地形中导航，这需要类人的运动和感知能力。目前，最可靠的人形机器人运动控制器主要依赖于本体感觉，但在崎岖地形中，这种依赖变得危险且不可靠。虽然将高度图集成到感知中可以实现主动步态规划，但如何鲁棒地利用这些信息仍然是一个重大挑战，尤其是在外部感知存在噪声时。为了克服这些挑战，我们提出了一种基于师生蒸馏框架的解决方案。在该框架中，一个oracle策略访问无噪声数据以建立最佳参考策略，而学生策略不仅模仿教师的动作，还同时训练一个具有变分信息瓶颈的世界模型，用于传感器去噪和状态估计。广泛的评估表明，我们的方法显著提高了在不可靠地形估计场景中的性能。此外，我们在具有挑战性的城市环境和越野环境中进行了严格的测试，模型成功地在没有外部干预的情况下穿越了2公里的各种地形。
🔬 方法详解
问题定义：现有的人形机器人运动控制方法，尤其是在崎岖地形中，过度依赖本体感觉。当外部感知（如高度图）存在噪声时，这些方法的鲁棒性会显著下降，导致运动规划不准确，甚至可能发生跌倒等危险情况。因此，需要一种能够有效利用外部感知信息，并对噪声具有鲁棒性的运动控制方法。
核心思路：论文的核心思路是利用师生蒸馏框架，让学生策略模仿一个在理想（无噪声）环境下训练的教师策略。同时，学生策略还负责训练一个世界模型，该模型通过变分信息瓶颈来学习对传感器噪声进行去噪，并进行更准确的状态估计。这样，学生策略不仅可以学习到教师策略的运动模式，还可以通过世界模型来适应真实环境中的噪声。
技术框架：整体框架包含两个主要部分：教师策略和学生策略。教师策略在一个无噪声的环境中训练，作为最优策略的参考。学生策略在真实环境中训练，同时模仿教师策略的动作，并训练一个世界模型。世界模型接收来自传感器的噪声数据，通过变分信息瓶颈进行去噪，并输出状态估计。学生策略根据状态估计和教师策略的动作，进行策略学习。
关键创新：该方法的关键创新在于将师生蒸馏框架与变分信息瓶颈相结合，用于人形机器人的运动控制。变分信息瓶颈能够有效地去除传感器噪声，提高状态估计的准确性。同时，师生蒸馏框架可以保证学生策略学习到最优策略的运动模式，从而提高机器人在复杂地形中的运动性能。
关键设计：世界模型采用变分自编码器（VAE）结构，通过最小化重构误差和KL散度来学习数据的潜在表示。变分信息瓶颈通过限制潜在表示的信息量，迫使模型学习对任务最相关的特征，从而去除噪声。损失函数包括模仿损失（用于模仿教师策略的动作）、世界模型损失（用于训练世界模型）和正则化损失（用于防止过拟合）。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在不可靠地形估计场景中显著提高了性能。在具有挑战性的城市环境和越野环境中进行了严格的测试，模型成功地在没有外部干预的情况下穿越了2公里的各种地形。这些结果表明，该方法具有很强的鲁棒性和泛化能力，可以在实际应用中发挥重要作用。
🎯 应用场景
该研究成果可应用于各种需要在复杂地形中进行自主导航的人形机器人应用，例如搜救、勘探、物流和建筑等领域。通过提高人形机器人在崎岖地形中的运动能力和鲁棒性，可以使其在这些领域发挥更大的作用，并减少对人类的依赖。此外，该方法还可以推广到其他类型的机器人，例如四足机器人和轮式机器人。
📄 摘要（原文）
Humanoid robots are engineered to navigate terrains akin to those encountered by humans, which necessitates human-like locomotion and perceptual abilities. Currently, the most reliable controllers for humanoid motion rely exclusively on proprioception, a reliance that becomes both dangerous and unreliable when coping with rugged terrain. Although the integration of height maps into perception can enable proactive gait planning, robust utilization of this information remains a significant challenge, especially when exteroceptive perception is noisy. To surmount these challenges, we propose a solution based on a teacher-student distillation framework. In this paradigm, an oracle policy accesses noise-free data to establish an optimal reference policy, while the student policy not only imitates the teacher's actions but also simultaneously trains a world model with a variational information bottleneck for sensor denoising and state estimation. Extensive evaluations demonstrate that our approach markedly enhances performance in scenarios characterized by unreliable terrain estimations. Moreover, we conducted rigorous testing in both challenging urban settings and off-road environments, the model successfully traverse 2 km of varied terrain without external intervention.