Ego-Vision World Model for Humanoid Contact Planning
作者: Hang Liu, Yuman Gao, Sangli Teng, Yufeng Chi, Yakun Sophia Shao, Zhongyu Li, Maani Ghaffari, Koushil Sreenath
分类: cs.RO, cs.AI, eess.SY
发布日期: 2025-10-13
💡 一句话要点
提出基于自中心视觉世界模型的类人机器人接触规划方法
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)
关键词: 类人机器人 接触规划 世界模型 模型预测控制 离线强化学习
📋 核心要点
- 传统基于优化的规划器难以处理复杂的接触问题，而在线强化学习存在样本效率低和多任务能力有限的问题。
- 论文提出一种结合学习世界模型与采样MPC的框架，利用离线数据学习潜在空间，并使用替代价值函数进行鲁棒规划。
- 实验表明，该模型在接触感知任务中表现出色，数据效率和多任务能力优于在线强化学习，并在物理机器人上实现了实时部署。
📝 摘要（中文）
本文提出了一种结合学习世界模型与基于采样的模型预测控制(MPC)的框架，旨在使类人机器人在非结构化环境中能够利用物理接触，而非简单地避免碰撞。该模型在无需演示的离线数据集上训练，以预测压缩潜在空间中的未来结果。为了解决稀疏接触奖励和传感器噪声问题，MPC使用学习到的替代价值函数进行密集、鲁棒的规划。该模型具有良好的可扩展性，支持接触感知任务，包括扰动后的墙面支撑、阻挡来袭物体和穿越高度受限的拱门，与在线强化学习相比，具有更高的数据效率和多任务能力。该系统已部署在物理类人机器人上，可从本体感受和自中心深度图像实现鲁棒的实时接触规划。
🔬 方法详解
问题定义：类人机器人在非结构化环境中自主导航和操作，需要能够有效地利用与环境的物理接触，例如支撑、阻挡等。然而，传统的基于优化的规划方法难以处理接触带来的复杂性，例如接触点的选择、接触力的计算等。另一方面，在线强化学习虽然可以学习复杂的策略，但样本效率较低，难以适应多任务场景。
核心思路：论文的核心思路是结合学习世界模型和模型预测控制（MPC）。世界模型用于预测机器人在给定动作下的未来状态，从而允许MPC在规划过程中评估不同动作序列的长期效果。通过在离线数据集上训练世界模型，可以提高样本效率。此外，为了解决稀疏奖励和传感器噪声问题，论文引入了学习到的替代价值函数，为MPC提供密集的、鲁棒的奖励信号。
技术框架：整体框架包含以下几个主要模块：1) 离线数据集：收集类人机器人在各种环境和任务中的运动数据。2) 世界模型：使用变分自编码器（VAE）或类似模型，将高维传感器数据（例如，自中心深度图像和本体感受信息）编码到低维潜在空间，并在该空间中学习动力学模型，用于预测未来状态。3) 模型预测控制（MPC）：使用采样方法（例如，交叉熵方法）在潜在空间中搜索最优动作序列。MPC使用世界模型预测每个动作序列的未来状态，并使用替代价值函数评估其性能。4) 替代价值函数：使用强化学习或监督学习方法，从离线数据中学习一个价值函数，用于评估机器人在不同状态下的性能。
关键创新：论文的关键创新在于将学习世界模型与采样MPC相结合，并引入了学习到的替代价值函数。这种方法可以有效地利用离线数据，提高样本效率，并解决稀疏奖励和传感器噪声问题。与传统的基于优化的规划方法相比，该方法可以处理更复杂的接触问题。与在线强化学习相比，该方法具有更高的数据效率和多任务能力。
关键设计：论文中一些关键的设计包括：1) 使用变分自编码器（VAE）将高维传感器数据压缩到低维潜在空间。2) 使用高斯过程或神经网络学习潜在空间中的动力学模型。3) 使用交叉熵方法在潜在空间中搜索最优动作序列。4) 使用深度神经网络学习替代价值函数。损失函数的设计需要考虑预测精度、奖励稀疏性和鲁棒性。
📊 实验亮点
该论文提出的方法在多个接触感知任务中取得了显著成果，包括扰动后的墙面支撑、阻挡来袭物体和穿越高度受限的拱门。与在线强化学习相比，该方法具有更高的数据效率和多任务能力。此外，该系统已成功部署在物理类人机器人上，证明了其在实际应用中的可行性和鲁棒性。
🎯 应用场景
该研究成果可应用于各种需要类人机器人与环境进行物理交互的场景，例如：在拥挤环境中进行导航、在灾难现场进行救援、在家庭环境中进行辅助等。通过使机器人能够有效地利用接触，可以提高其在复杂环境中的自主性和适应性，从而扩展其应用范围。
📄 摘要（原文）
Enabling humanoid robots to exploit physical contact, rather than simply avoid collisions, is crucial for autonomy in unstructured environments. Traditional optimization-based planners struggle with contact complexity, while on-policy reinforcement learning (RL) is sample-inefficient and has limited multi-task ability. We propose a framework combining a learned world model with sampling-based Model Predictive Control (MPC), trained on a demonstration-free offline dataset to predict future outcomes in a compressed latent space. To address sparse contact rewards and sensor noise, the MPC uses a learned surrogate value function for dense, robust planning. Our single, scalable model supports contact-aware tasks, including wall support after perturbation, blocking incoming objects, and traversing height-limited arches, with improved data efficiency and multi-task capability over on-policy RL. Deployed on a physical humanoid, our system achieves robust, real-time contact planning from proprioception and ego-centric depth images. Website: https://ego-vcp.github.io/