PASSAGE: Scaling Scene-Aligned Motion Learning for Perceptive Humanoid Traversal in Cluttered Environments
作者: Yuxuan Ma, Zicheng Zeng, Chunlin Peng, Zhoujian Li, Zetong Zhao, Zhikai Zhang, Yunrui Lian, Han Xue, Sikai Liang, Weiyi Zhu, Mulin Chen, Chenghuai Lin, Jiayu Zeng, Yanwei An, Songan Zhang, Jiayuan Gu, Jilong Wang, Jingbo Wang, He Wang, Li Yi
分类: cs.RO
发布日期: 2026-09-16
💡 一句话要点
提出PASSAGE以解决人形机器人在复杂环境中的运动学习问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 人形机器人 运动学习 感知规划 强化学习 复杂环境 实时控制 虚拟现实 运动捕捉
📋 核心要点
- 现有方法往往依赖于特定任务的强化学习目标或运动库，导致人形机器人在复杂环境中学习运动行为的效率低下。
- PASSAGE框架结合了感知规划与跟踪，通过虚拟现实和运动捕捉技术，生成适应复杂环境的运动参考，提升机器人的穿越能力。
- 实验结果显示，随着捕获数据从6小时增加到100小时，机器人在未见场景中的无接触成功率从48.1%提升至68.9%，最终模型达到了70.3%。
📝 摘要（中文）
人形机器人能够跨越、挤过和低头通过障碍物，但从机载感知中学习选择和协调这些行为仍然具有挑战性。许多现有方法依赖于特定任务的强化学习目标或精心策划的运动库，导致广泛的行为覆盖成本高昂。本文提出了PASSAGE，一个基于感知的规划-跟踪框架，用于人形机器人的穿越。通过虚拟现实和惯性运动捕捉，我们在1500个复杂场景中收集了100小时的场景对齐人类运动。条件流匹配规划器根据运动历史、局部目标和机器人中心的多层高程图生成短期参考，而感知全身跟踪器以50 Hz的频率执行这些参考。实时分块促进了块间一致性，冻结跟踪器后的规划侧强化学习后训练进一步提高了闭环性能。最终模型在验证的场景增强下达到了70.3%的成功率。
🔬 方法详解
问题定义：本文旨在解决人形机器人在复杂环境中学习和执行运动行为的挑战，现有方法往往依赖于特定任务的强化学习或运动库，导致适应性差和成本高。
核心思路：PASSAGE框架通过感知条件的规划和跟踪，利用大量的场景对齐人类运动数据，生成适应复杂环境的运动参考，从而提高机器人的穿越能力。
技术框架：整体架构包括条件流匹配规划器和感知全身跟踪器。规划器生成短期运动参考，跟踪器执行这些参考，并通过实时分块和强化学习后训练提升性能。
关键创新：最重要的创新在于无须技能注释或特定障碍物策略，单一的规划-跟踪对能够在未见几何体上选择和组合穿越行为，显著提高了适应性。
关键设计：在技术细节上，使用了多层高程图来表示环境，规划器以50 Hz的频率生成运动参考，跟踪器则以50 Hz的频率执行，确保了实时性和稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，随着捕获数据量的增加，机器人在未见场景中的无接触成功率显著提升，从48.1%提高到68.9%，最终模型在经过场景增强后达到了70.3%的成功率，展示了PASSAGE框架的有效性和鲁棒性。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、救援机器人以及人形机器人在复杂环境中的自主导航。其实际价值在于提升机器人在动态和未知环境中的适应能力，未来可能推动人形机器人在日常生活和工业场景中的广泛应用。
📄 摘要（原文）
Humanoid robots can step over, squeeze past, and duck under obstacles, but learning to select and coordinate these behaviors from onboard perception remains challenging. Many existing approaches rely on task-specific reinforcement-learning objectives or curated motion libraries, making broad behavioral coverage costly. We present PASSAGE, a perception-conditioned planner--tracker framework for humanoid traversal. Using virtual reality and inertial motion capture, we collect 100 h of scene-aligned human motion across 1,500 cluttered scenes. A conditional flow-matching planner generates short-horizon references from motion history, a local destination, and a robot-centric multi-layer elevation map, while a perceptive whole-body tracker executes them at 50 Hz with geometric feedback. Real-time chunking promotes inter-chunk consistency, and planner-side RL post-training under the frozen tracker further improves closed-loop performance. Without skill annotations or obstacle-specific policies, one planner--tracker pair selects and composes traversal behaviors across unseen geometries. In simulation, component ablations quantify the contribution of each stage. Across three independent training seeds, scaling captured data from 6 to 100 h increases mean contact-free success from 48.1% to 68.9% on held-out scenes, while the final model with validated scene augmentation reaches 70.3%. The fully onboard system integrates egocentric 3D LiDAR perception, online occupancy mapping, 6.25 Hz planning, and 50 Hz control on a Jetson AGX Orin; tests across 50 unseen physical layouts demonstrate traversal without prebuilt maps or offboard computation.