Learning Scene-Aware Humanoid Locomotion through 3D Clutter from Immersive Human Demonstrations
作者: Beichen Wang, Tong Xu, Daniel Kosukhin, Yuen-Hei Yeung, Yuanjie Lu, Xuesu Xiao
分类: cs.RO
发布日期: 2026-09-17
💡 一句话要点
提出MTC框架以解决复杂环境中的人形机器人运动问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱五：交互与反应 (Interaction & Reaction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 人形机器人 场景感知 运动重定向 虚拟现实 无碰撞行走 复杂环境 学习示范 动态技能
📋 核心要点
- 现有方法在密集杂乱环境中的人形机器人运动能力不足，缺乏有效的场景感知与障碍物规避机制。
- 本文提出MTC框架，通过虚拟现实环境进行数据收集，并利用场景感知的运动重定向算法实现人类示范到人形机器人轨迹的转换。
- 在MTC-Challenge评估中，该策略实现了70.2%的无碰撞率，展示了在复杂环境中灵活的全身运动能力。
📝 摘要（中文）
尽管从人类动作学习使得人形机器人在无障碍空间中具备了高度动态的技能，如舞蹈和武术，但在密集杂乱环境中的行走仍然未得到充分探索。这些三维空间具有几何约束，要求运动与场景几何紧密结合以避免障碍。为了解决这些挑战，本文提出了Moving Through Clutter (MTC)框架，通过程序生成的虚拟现实环境进行沉浸式数据收集，避免了昂贵的物理场景构建。我们还提出了一种场景感知的运动重定向算法，将人类示范转化为人形机器人轨迹，确保机器人与场景的安全间距，从而保证无碰撞的行走。经过在MTC-Challenge上的评估，该策略在多障碍物穿越中展现出70.2%的无碰撞率，成功实现了复杂环境中的多样化全身技能。
🔬 方法详解
问题定义：本文旨在解决人形机器人在三维杂乱环境中的运动问题，现有方法在此类环境中缺乏有效的障碍物规避能力，导致碰撞风险高。
核心思路：提出MTC框架，通过程序生成的虚拟现实环境进行沉浸式数据收集，利用场景感知的运动重定向算法将人类示范转化为安全的机器人轨迹。
技术框架：MTC框架包括数据收集、运动重定向和策略训练三个主要模块。首先在虚拟环境中收集人类运动数据，然后通过重定向算法生成安全轨迹，最后训练场景感知的运动策略。
关键创新：最重要的创新在于提出了场景感知的运动重定向算法，能够在确保机器人与场景间距的同时，将人类示范有效转化为机器人轨迹，这一设计显著提升了复杂环境中的运动能力。
关键设计：在算法设计中，采用了特定的损失函数来确保轨迹的安全性，并结合了深度学习网络结构以实现高效的运动重定向。
🖼️ 关键图片
📊 实验亮点
在MTC-Challenge评估中，所提出的场景感知运动策略实现了70.2%的无碰撞率，显著优于现有方法。这一成果表明，机器人能够在复杂环境中灵活穿越，展现出多样化的全身运动技能。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、救援机器人和娱乐机器人等，能够在复杂环境中实现安全、高效的运动。这将极大地推动人形机器人在实际应用中的普及与发展，提升其在多种场景下的适应能力与灵活性。
📄 摘要（原文）
While learning from human motions has enabled highly dynamic humanoid skills such as dancing and martial arts in obstacle-free space, traversal through densely cluttered environments remains underexplored. These spaces are three-dimensional and geometrically constrained, requiring scene-aware locomotion that tightly couples whole-body motion with scene geometry for obstacle avoidance. To address these challenges, we present Moving Through Clutter (MTC), a learning-from-demonstration framework for scene-aware humanoid locomotion. To bypass costly physical scene construction, MTC uses procedurally generated Virtual Reality environments for immersive data collection. To transform these human motions into training-ready humanoid motions, we propose a scene-aware motion retargeting algorithm that converts human demonstrations into humanoid trajectories while strictly enforcing robot-scene clearance to guarantee collision-free traversal. These reference trajectories are then used to train a scene-aware locomotion policy that deploys on a Unitree G1 humanoid. Evaluated on our proposed MTC-Challenge for multi-obstacle traversal, the policy demonstrates a 70.2% collision-free rate across diverse scenarios, successfully traversing complex environments through diverse whole-body skills, including crawling through low-clearance passages and squeezing through narrow gaps.