Lucid Dreaming for World Models: Learning to Doubt Imagination and Decide by Trust

📄 arXiv: 2609.37156v1 📥 PDF

作者: Ziqi Wen, Ting Xu, Lianyu Wang, Xian Lin, Yanda Meng, Huazhu Fu, Meng Wang, Ching-Yu Cheng

分类: cs.LG, cs.AI

发布日期: 2026-09-29

备注: 30 pages, 22 figures, 8 tables. Project page: https://lucidwm.github.io

💡 一句话要点

提出LucidWM以解决世界模型中的不确定性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界模型 不确定性估计 主观逻辑 决策支持 智能体学习

📋 核心要点

  1. 现有的世界模型在处理超出训练经验的状态-动作对时，往往会产生过于自信的预测，导致决策失误。
  2. 本文提出LucidWM，通过引入主观逻辑，学习并传播信任与怀疑，从而提高模型在不确定环境中的决策能力。
  3. 在控制导航的案例研究中，LucidWM将达到目标所需的步骤从362减少到190，显示出显著的性能提升。

📝 摘要（中文）

世界模型使智能体能够在想象中学习和规划，但超出经验的预测可能变得不可靠，从而误导决策。现有的不确定性估计在面对不熟悉的状态-动作对时可能过于自信。本文提出了Lucid世界模型（LucidWM），通过经验学习怀疑并在想象中传播信任。LucidWM将主观逻辑融入分类潜在转移，区分预测结果与其证据支持，并为每个转移分配怀疑程度。怀疑的补充定义了转移级别的信任，这在想象轨迹中以乘法方式累积，以重新加权政策学习的回报并指导行动选择。评估结果表明，LucidWM能够检测环境变化并在动作受损的情况下发出不确定性信号。

🔬 方法详解

问题定义：本文旨在解决现有世界模型在面对不熟悉状态-动作对时的过度自信问题，导致决策失误的挑战。

核心思路：LucidWM通过引入主观逻辑，学习怀疑并在想象中传播信任，从而提高模型对不确定性的处理能力。

技术框架：LucidWM的整体架构包括潜在转移的分类、怀疑程度的计算以及信任的传播，主要模块包括经验学习、信任加权和决策指导。

关键创新：LucidWM的核心创新在于将主观逻辑与潜在转移结合，能够有效区分预测结果与其证据支持，从而为每个转移分配怀疑程度，进而定义信任。

关键设计：LucidWM的设计不需要额外的参数或前向传递，采用了乘法累积的方式来重新加权回报，确保在决策过程中能够有效反映不确定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，LucidWM在控制导航任务中表现出色，将达到目标所需的步骤从362减少到190，显示出显著的效率提升。此外，LucidWM能够有效检测环境变化并在动作受损的情况下发出不确定性信号，展现出其在动态环境中的适应能力。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、自动驾驶和智能决策系统等。通过提高模型在不确定环境中的决策能力，LucidWM能够在复杂的现实场景中提供更可靠的智能体行为，具有重要的实际价值和未来影响。

📄 摘要（原文）

World models enable agents to learn and plan in imagination, but predictions beyond their experience can become unreliable and mislead decisions. Existing uncertainty estimates derived from predictions can remain overconfident on unfamiliar state-action pairs. We propose the Lucid World Model (LucidWM), which learns doubt from experience and propagates trust through imagination. By integrating Subjective Logic into categorical latent transitions, LucidWM distinguishes predicted outcomes from their evidential support and assigns each transition a degree of doubt. The complement of this doubt defines transition-level trust, which accumulates multiplicatively along imagined trajectories to reweight returns for policy learning and guide action selection. Uncertainty estimation requires no additional parameters or forward passes. Evaluated on four base world models against seventeen uncertainty readouts, LucidWM detects environmental changes and signals uncertainty during action-corrupted rollouts. In a controlled navigation case study, acting on trust reduces the number of steps required to reach the goal from 362 to 190. Fifteen demonstration videos show how LucidWM doubts its dreams and acts on that doubt. Videos are available at https://lucidwm.github.io.