The World Model Remembers, the Actor Forgets: Dream Rehearsal for Continual Model-Based RL
作者: Gurp Nijjer
分类: cs.LG, cs.AI
发布日期: 2026-07-22
备注: 11 pages, 2 figures. Code, pre-registration trail, and run data: https://github.com/gurpnijjer/dream-rehearsal
💡 一句话要点
提出梦境排练方法以解决持续模型基础强化学习中的遗忘问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 模型基础 梦境排练 持续学习 技能恢复 自我模仿 世界模型 任务序列
📋 核心要点
- 现有的基于模型的强化学习方法在处理任务序列时面临灾难性遗忘的问题，尤其是行为者的表现显著下降。
- 论文提出了一种梦境排练的方法，通过冻结世界模型并利用其生成的分级梦境进行自我模仿，来解决遗忘问题。
- 实验结果显示，采用梦境排练的学习者在多个任务链上表现优于传统重放方法，成功保留了更多技能和知识。
📝 摘要（中文）
DreamerV3系列的基于模型的强化学习代理在任务序列训练中会发生灾难性遗忘，即使无界重放缓冲区保留了所有早期经验。本文探讨了持续强化学习文献中假设但未测量的问题：哪个组件遗忘？研究表明，世界模型几乎保留了所有关于旧任务的可测量信息，而行为者的表现却崩溃。通过干预实验，发现冻结世界模型后，想象中的强化学习无法恢复丢失的技能，而在世界模型的分级梦境上进行监督自我模仿则能够成功恢复。通过这种分级梦境排练，提出了一种无任务标签、参数恒定的持续学习者，显著提高了任务链的保留率。
🔬 方法详解
问题定义：本文旨在解决基于模型的强化学习代理在任务序列训练中出现的灾难性遗忘问题。现有方法在面对新任务时，行为者的表现会显著下降，尽管世界模型能够保留大量信息。
核心思路：论文的核心思路是通过梦境排练来增强学习过程，具体是冻结世界模型并利用其生成的梦境进行监督自我模仿，从而有效恢复遗忘的技能。
技术框架：整体架构包括三个主要模块：世界模型、行为者和梦境排练。训练过程中，世界模型负责生成任务的梦境，而行为者则在这些梦境上进行学习和自我模仿。
关键创新：最重要的技术创新在于引入了梦境排练机制，使得学习者能够在没有环境交互的情况下，通过分级梦境恢复丢失的技能。这一方法与传统的重放机制有本质区别。
关键设计：在实验中，采用了预注册的协议，确保每个假设的可验证性。关键参数包括梦境的分级机制和自我模仿的监督策略，这些设计确保了学习过程的有效性和稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，采用梦境排练的学习者在四任务链上保留率为100%，而传统重放方法仅为0%。在八任务链上，梦境排练同样表现出色，显著提高了技能保留率，且在与真实环境交互的克隆任务中，表现提升幅度达到+0.13，置信区间为[0.07, 0.24]。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶和游戏AI等需要持续学习的场景。通过有效解决遗忘问题，能够提升智能体在动态环境中的适应能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
Model-based reinforcement-learning agents of the DreamerV3 family forget catastrophically when trained on task sequences, even when an unbounded replay buffer preserves every earlier experience. We ask a question the continual-RL literature has assumed an answer to but never measured: which component forgets? Under never-clear replay, pre-registered component-level probes (n=3 seeds throughout) show that the world model retains essentially everything measurable about old tasks -- reward discrimination (retention ratio ~1.0), value estimates, and termination structure -- while the actor's behavior collapses. Forgetting in this regime is a channel problem, not a memory problem. We demonstrate this by intervention: with the world model frozen and identical imagined rollouts, reinforcement learning in imagination fails to recover a lost skill (0/3 seeds), while supervised self-imitation on the world model's own graded dreams recovers it on 3/3 seeds with zero environment interaction. Interleaved during training, this graded dream rehearsal yields a task-label-free, parameter-constant continual learner: 3/3 four-task chains retained where plain replay passes 0/3, 3/3 eight-task chains, and consistent gains over matched real-episode cloning (paired difference +0.13, bootstrap 95% CI [0.07, 0.24], complete seed separation). The dream-grading step is load-bearing: we characterize two scoring failure modes, provide an offline selection gauge that caught both before they contaminated results, and give a realized-first grading rule that closes them. All experiments were pre-registered with committed protocols; every refuted hypothesis is reported.