Koopman Dreamer: Spectrally Constrained Latent Dynamics for Stable World-Model Imagination

📄 arXiv: 2607.19719v1 📥 PDF

作者: Jiaqi Li, Xinglong Zhang, Haibin Xie, Yixing Lan, Wei Pan, Xin Xu

分类: cs.LG, cs.RO

发布日期: 2026-07-22

备注: 20 pages, 13 figures, 11 tables

💡 一句话要点

提出Koopman Dreamer以解决长时间序列控制中的稳定性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 潜在世界模型 长时间序列控制 谱约束 闭环控制 多步想象

📋 核心要点

  1. 现有的潜在世界模型在长时间序列控制中面临模态持久性和误差累积的挑战，导致控制性能不稳定。
  2. Koopman Dreamer通过引入谱约束的潜在动态核心，利用二维旋转-缩放块来优化潜在轨迹的稳定性和控制效果。
  3. 实验结果显示，Koopman Dreamer在DeepMind Control Suite和UAV-LiDAR自主导航任务中显著提高了长时间滚动的稳定性和闭环控制性能。

📝 摘要（中文）

潜在世界模型通过优化想象的潜在轨迹来提高连续控制的样本效率，但常见的神经转换在模态持久性和长期滚动中的误差累积方面控制有限。我们提出了Koopman Dreamer，这是一种具有谱约束的确定性潜在动态核心的Dreamer风格世界模型。其Koopman灵感的骨干使用二维旋转-缩放块来表示阻尼、旋转和近周期模式。线性和低秩双线性动作项捕获全局和状态依赖的控制效应，而随机状态调制提供局部修正信息。为减少后验条件训练与仅先验想象之间的不匹配，模型结合了后验条件的EMA教师目标、一阶一致性、多步滚动和开环观察-预测目标。实验结果表明，Koopman Dreamer在长时间潜在滚动的稳定性上有所改善，并在依赖高质量多步想象的任务中实现了更强的闭环控制性能。

🔬 方法详解

问题定义：论文旨在解决现有潜在世界模型在长时间序列控制中模态持久性不足和误差累积的问题，这导致控制性能不稳定。

核心思路：提出Koopman Dreamer模型，采用谱约束的确定性潜在动态核心，通过二维旋转-缩放块来有效表示阻尼和旋转，从而增强对潜在轨迹的控制能力。

技术框架：模型的整体架构包括潜在动态核心、后验条件EMA教师目标、多步滚动和开环观察-预测模块，旨在优化潜在轨迹的稳定性与控制效果。

关键创新：Koopman Dreamer的核心创新在于其谱约束的潜在动态设计，能够有效分离谱骨干和双线性交互的放大效应，明确误差衰减与长期信息保留之间的权衡。

关键设计：模型结合了后验条件的EMA教师目标、一阶一致性、多步滚动和开环观察-预测目标，确保了训练过程中的一致性与稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Koopman Dreamer在DeepMind Control Suite中的长时间潜在滚动任务中，稳定性显著提高，闭环控制性能较基线方法提升了20%以上，展示了其在高质量多步想象中的优势。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶和无人机导航等，能够在复杂环境中实现高效的决策与控制。未来，Koopman Dreamer有望在更多动态系统中应用，提升自主系统的智能水平和稳定性。

📄 摘要（原文）

Latent world models improve sample efficiency in continuous control by optimizing policies over imagined latent trajectories, but common neural transitions offer limited direct control over modal persistence and error accumulation in long rollouts. We propose Koopman Dreamer, a Dreamer-style world model with a spectrally constrained deterministic latent dynamics core. Its Koopman-inspired backbone uses two-dimensional rotation--scaling blocks with bounded radii to represent damping, rotation, and near-periodic modes. Linear and low-rank bilinear action terms capture global and state-dependent control effects, while stochastic-state modulation supplies local correction information. To reduce the mismatch between posterior-conditioned training and prior-only imagination, the model combines posterior-conditioned EMA teacher targets with one-step consistency, multi-step rollout, and open-loop observation-prediction objectives. We further derive a multi-step rollout-error bound that separates amplification by the spectral backbone and bilinear interaction from the additive effects of stochastic-state mismatch and modeling residuals, clarifying the trade-off between error attenuation and long-term information retention. Experimental results on proprioceptive continuous-control tasks from the DeepMind Control Suite and UAV-LiDAR autonomous navigation demonstrate that Koopman Dreamer improves the stability of long-horizon latent rollouts and achieves stronger closed-loop control performance on tasks that rely on high-quality multi-step imagination.