CausalDreamer: Learning Predictive World Models with Latent Disentanglement

📄 arXiv: 2610.12016v1 📥 PDF

作者: Prince Jha, Nils Lukas, Kun Zhang, Salem Lahlou

分类: cs.LG

发布日期: 2026-10-08

💡 一句话要点

提出CausalDreamer以解决生成世界模型的可控性与奖励相关性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 生成模型 世界模型 因子化表示 动态模型 强化学习 控制系统 智能体

📋 核心要点

  1. 现有生成世界模型在动作与奖励监督方面存在不足，导致潜在表示无法有效区分可控与不可控信息。
  2. CausalDreamer通过固定视频标记器并重新编码潜在表示，构建了一个因子化的表示，明确区分可控性和奖励相关性。
  3. 实验结果显示，CausalDreamer在干净任务上比预训练模型提高了14%的标准化得分，在操控变体上提高了25%。

📝 摘要（中文）

控制的世界模型必须捕捉环境中哪些方面响应代理的动作，以及哪些与奖励相关。现有的生成世界模型如Dreamer 4使用视频标记器将每帧编码为潜在表示，但其训练缺乏动作和奖励的监督，导致潜在表示无法明确区分可控、不可控、与奖励相关和无关的信息。本文提出CausalDreamer，通过保持标记器不变并将其潜在表示重新编码为沿可控性和奖励相关性两个轴的四组因子表示，从而解决这一问题。经过评估，CausalDreamer在20个MMBench2任务上表现出色，尤其在干净任务和操控变体上均显著优于预训练的世界模型。

🔬 方法详解

问题定义：本文旨在解决生成世界模型中潜在表示无法有效区分可控与不可控信息的问题。现有方法如Dreamer 4缺乏动作和奖励监督，导致潜在表示无法明确反映环境的可控性与奖励相关性。

核心思路：CausalDreamer的核心思路是保持视频标记器不变，并将其潜在表示重新编码为因子化的表示，分为可控和不可控、奖励相关和无关的四组信息。这种设计使得模型能够更好地理解环境的动态特性。

技术框架：CausalDreamer的整体架构包括视频标记器、因子化表示的重编码模块和动态模型。首先，视频标记器将输入帧编码为潜在表示，然后重编码模块将潜在表示分解为四个因子，最后动态模型对因子化表示进行微调以预测未来状态。

关键创新：CausalDreamer的主要创新在于其因子化表示的构建方式，能够有效区分可控与不可控信息，以及奖励相关与无关信息。这一创新使得模型在处理复杂环境时具备更强的适应性。

关键设计：在设计中，CausalDreamer采用了特定的损失函数来优化因子化表示的学习，并通过预训练的动态模型进行微调。网络结构方面，模型的各个模块之间通过精心设计的连接方式进行信息传递，以确保信息的有效利用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CausalDreamer在20个MMBench2任务中表现优异，干净任务的标准化得分为0.199，比预训练模型提高了14%；在操控变体任务中得分为0.307，提升幅度达到25%。这些结果表明CausalDreamer在处理复杂环境时的有效性。

🎯 应用场景

CausalDreamer的研究成果在机器人控制、自动驾驶、游戏智能体等领域具有广泛的应用潜力。通过更好地理解环境的动态特性，能够提升智能体在复杂环境中的决策能力和适应性，从而推动智能系统的实际应用和发展。

📄 摘要（原文）

World models for control must capture which aspects of the environment respond to the agent's actions and which are relevant to reward. Generative world models such as Dreamer 4 consist of a video tokenizer, which encodes each frame into a latent, and a dynamics model, which is pretrained to predict future latents from past latents and actions. Yet the tokenizer is trained with a reconstruction objective, without action or reward supervision, so its latent provides no explicit mechanism to separate controllable, uncontrollable, reward-relevant, and reward-irrelevant information. We propose \textit{CausalDreamer}, which keeps the tokenizer frozen and re-encodes its latent into a factored representation of four groups along two axes: controllability, where only the two controllable groups receive the action, and reward relevance, learned by predicting the reward from the two reward-relevant groups. The pretrained dynamics model is then fine-tuned to predict the factored representation. We evaluate \textit{CausalDreamer} and the pretrained world model it starts from with model-predictive planning on 20 MMBench2 tasks: 10 clean tasks seen during training and 10 unseen tasks, of which 6 are manipulated variants of clean tasks with a changed background, object, or maze layout, and 4 are new environments. We normalize returns so that a policy taking uniformly random actions scores 0 and an expert scores 1. \textit{CausalDreamer} achieves a 14\% higher normalized score than the pretrained world model on the clean tasks (0.199 vs.\ 0.175) and a 25\% higher score on the manipulated variants (0.307 vs.\ 0.246), while neither model scores meaningfully above the random policy in the new environments. Additionally, our analysis shows that the factored representation separates reward-irrelevant changes, such as a changed background, from its reward-relevant groups.