Uncertainty-Aware Robotic World Model Makes Offline Model-Based Reinforcement Learning Work on Real Robots

📄 arXiv: 2504.16680v3 📥 PDF

作者: Chenhao Li, Andreas Krause, Marco Hutter

分类: cs.RO, cs.AI, cs.LG

发布日期: 2025-04-23 (更新: 2026-01-08)

💡 一句话要点

提出RWM-U模型，解决离线MBRL在真实机器人上的应用难题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线强化学习 模型强化学习 世界模型 不确定性估计 机器人控制

📋 核心要点

  1. 现有强化学习方法在机器人领域应用受限于数据效率低和任务特定性强的问题。
  2. 论文提出RWM-U模型，通过估计认知不确定性，提升离线MBRL在真实机器人上的性能。
  3. 实验表明，该方法在仿真和真实机器人任务中均优于现有基线方法，并能有效利用真实数据。

📝 摘要（中文）

强化学习(RL)在机器人领域取得了显著成果，但高性能流程通常是任务特定的，缺乏对先前数据的重用。离线模型强化学习(MBRL)通过完全从现有数据集训练策略来提高数据效率，但存在长时程展开中的复合误差和分布偏移问题。尽管现有方法在受控仿真基准测试中取得了成功，但将其稳健地应用于真实机器人中常见的噪声、偏差和部分观测数据集仍然具有挑战性。我们提出了一种原则性流程，使离线MBRL在物理机器人上有效。我们的RWM-U通过认知不确定性估计扩展了自回归世界模型，从而能够进行时间上一致的多步展开，并有效地在长时程上传播不确定性。我们将RWM-U与MOPO-PPO相结合，将不确定性惩罚策略优化调整到稳定的、on-policy的PPO框架，用于真实世界的控制。我们在仿真和真实的四足和人形机器人的各种操作和运动任务中评估了我们的方法，完全从离线数据集训练策略。由此产生的策略始终优于无模型的和不确定性未知的基于模型的基线，并且在模型学习中融合真实世界的数据进一步产生了稳健的策略，超越了仅在仿真中训练的在线无模型基线。

🔬 方法详解

问题定义：离线模型强化学习(MBRL)虽然具有较高的数据效率，但由于长时程预测中的累积误差和分布偏移，难以直接应用于真实机器人系统。真实机器人数据通常包含噪声、偏差，并且是部分观测的，这进一步加剧了MBRL的挑战。现有方法在仿真环境中表现良好，但在真实机器人上的泛化能力不足。

核心思路：论文的核心思路是构建一个能够感知不确定性的世界模型(World Model)，并利用该模型进行策略学习。通过对模型预测的不确定性进行建模，可以有效地抑制由于模型误差导致的策略性能下降，从而提高离线MBRL在真实机器人上的鲁棒性。具体来说，论文关注的是认知不确定性(Epistemic Uncertainty)，即由于数据不足导致的不确定性，可以通过收集更多数据来降低。

技术框架：整体框架包含两个主要模块：不确定性感知的世界模型(RWM-U)和不确定性惩罚的策略优化(MOPO-PPO)。首先，使用离线数据集训练RWM-U，使其能够预测状态转移和奖励，并估计预测的不确定性。然后，利用RWM-U生成虚拟环境，并使用MOPO-PPO在该虚拟环境中训练策略。MOPO-PPO在PPO的基础上引入了不确定性惩罚项，鼓励策略选择不确定性较低的动作，从而提高策略的鲁棒性。

关键创新：论文的关键创新在于RWM-U模型，它扩展了传统的自回归世界模型，使其能够估计认知不确定性。RWM-U通过集成多个世界模型来实现不确定性估计，每个世界模型都使用不同的初始化和数据子集进行训练。通过计算这些模型预测的方差，可以得到认知不确定性的估计。与现有方法相比，RWM-U能够更准确地估计模型的不确定性，并将其有效地用于策略优化。

关键设计：RWM-U使用自回归Transformer结构作为其核心模型。不确定性估计通过训练多个具有不同初始化的Transformer模型实现，并计算它们预测结果的方差。MOPO-PPO在PPO的奖励函数中引入了一个惩罚项，该惩罚项与RWM-U预测的不确定性成正比。惩罚系数是一个超参数，需要根据具体任务进行调整。论文还采用了数据增强等技术来提高模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RWM-U结合MOPO-PPO在仿真和真实机器人任务中均优于基线方法。在四足机器人运动任务中，RWM-U的性能比无模型的PPO提高了约30%。在人形机器人操作任务中，RWM-U也取得了显著的性能提升。此外，通过融合真实世界的数据进行模型学习，可以进一步提高策略的鲁棒性，甚至超越仅在仿真中训练的在线无模型基线。

🎯 应用场景

该研究成果可广泛应用于机器人自主导航、操作和控制等领域。通过利用离线数据进行策略学习，可以显著降低机器人学习的成本和风险。该方法尤其适用于数据采集困难或成本高昂的场景，例如灾难救援、太空探索等。未来，该研究有望推动机器人技术在更多实际场景中的应用。

📄 摘要（原文）

Reinforcement Learning (RL) has achieved impressive results in robotics, yet high-performing pipelines remain highly task-specific, with little reuse of prior data. Offline Model-based RL (MBRL) offers greater data efficiency by training policies entirely from existing datasets, but suffers from compounding errors and distribution shift in long-horizon rollouts. Although existing methods have shown success in controlled simulation benchmarks, robustly applying them to the noisy, biased, and partially observed datasets typical of real-world robotics remains challenging. We present a principled pipeline for making offline MBRL effective on physical robots. Our RWM-U extends autoregressive world models with epistemic uncertainty estimation, enabling temporally consistent multi-step rollouts with uncertainty effectively propagated over long horizons. We combine RWM-U with MOPO-PPO, which adapts uncertainty-penalized policy optimization to the stable, on-policy PPO framework for real-world control. We evaluate our approach on diverse manipulation and locomotion tasks in simulation and on real quadruped and humanoid, training policies entirely from offline datasets. The resulting policies consistently outperform model-free and uncertainty-unaware model-based baselines, and fusing real-world data in model learning further yields robust policies that surpass online model-free baselines trained solely in simulation.