From Observations to Events: Event-Aware World Model for Reinforcement Learning

📄 arXiv: 2601.19336v1 📥 PDF

作者: Zhao-Han Peng, Shaohui Li, Zhi Li, Shulan Ruan, Yu Liu, You He

分类: cs.LG, cs.AI

发布日期: 2026-01-27

备注: 43 pages, accepted by ICLR 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出事件感知世界模型EAWM，提升MBRL在结构相似场景中的泛化能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 世界模型 事件感知 表征学习 泛化能力

📋 核心要点

  1. 现有MBRL方法难以在结构相似的场景中泛化，且易受纹理或颜色变化等干扰，限制了其应用。
  2. EAWM通过自动事件生成和通用事件分割器，将连续观测流分割为离散事件，并学习事件感知的表征。
  3. 实验表明，EAWM在多个基准测试中显著提升了MBRL基线的性能，最高提升达45%。

📝 摘要（中文）

本文提出事件感知世界模型（EAWM），旨在提升基于模型的强化学习（MBRL）的样本效率和泛化能力，尤其是在结构相似但存在纹理或颜色偏移等干扰因素的场景中。EAWM从原始观测中自动生成事件，并引入通用事件分割器（GES）来识别事件边界。通过事件预测，EAWM塑造表征空间，以捕获有意义的时空转换。此外，论文统一了不同世界模型架构的形式，展示了EAWM的广泛适用性。在Atari 100K、Craftax 1M、DeepMind Control 500K和DMC-GB2 500K等基准测试中，EAWM始终将强大的MBRL基线的性能提升10%-45%，取得了新的state-of-the-art结果。

🔬 方法详解

问题定义：现有基于模型的强化学习方法在处理具有结构相似性但存在干扰因素（如纹理、颜色偏移）的场景时，泛化能力不足。这些方法难以区分关键的状态转移和无关的视觉噪声，导致学习到的世界模型不够鲁棒。

核心思路：借鉴认知科学中人类将连续感知流分割成离散事件的机制，论文提出学习事件感知的世界模型。核心思想是将原始观测分解为一系列有意义的事件，并利用这些事件来指导世界模型的学习，从而提高模型对环境动态的理解和泛化能力。

技术框架：EAWM包含以下主要模块：1) 自动事件生成器：从原始观测中自动提取事件信息。具体实现方式未知。2) 通用事件分割器 (GES)：识别事件的起始和结束时间点，将连续的观测流分割成离散的事件片段。3) 事件预测模块：基于当前状态和事件信息，预测未来的状态和事件。通过事件预测，模型学习到事件之间的时空关系，从而更好地理解环境动态。4) 策略学习模块：利用学习到的世界模型进行策略学习，优化智能体的行为。

关键创新：EAWM的关键创新在于引入了事件感知的概念，将连续的观测流分割成离散的事件片段，并利用这些事件来指导世界模型的学习。与传统的MBRL方法相比，EAWM能够更好地捕捉环境动态，提高模型的泛化能力。此外，论文还提出了一个通用的事件分割器（GES），可以自动识别事件边界，无需人工标注。

关键设计：关于自动事件生成器的具体实现方式未知。通用事件分割器（GES）的网络结构和训练方式未知。事件预测模块可能采用循环神经网络（RNN）或Transformer等模型来建模事件之间的时序关系。损失函数的设计可能包括状态预测损失、事件预测损失和策略优化损失等。具体的参数设置和网络结构等技术细节在论文中可能没有详细描述。

📊 实验亮点

EAWM在Atari 100K、Craftax 1M、DeepMind Control 500K和DMC-GB2 500K等多个基准测试中取得了显著的性能提升。相较于现有的MBRL基线方法，EAWM的性能提升幅度达到10%-45%，并在这些基准测试中取得了新的state-of-the-art结果。这些实验结果表明，EAWM能够有效地提高MBRL的样本效率和泛化能力。

🎯 应用场景

EAWM具有广泛的应用前景，可用于机器人导航、自动驾驶、游戏AI等领域。通过学习事件感知的世界模型，智能体可以更好地理解环境动态，提高决策能力和泛化能力。该方法尤其适用于处理具有复杂动态和干扰因素的场景，例如在真实世界中进行导航或操作。

📄 摘要（原文）

While model-based reinforcement learning (MBRL) improves sample efficiency by learning world models from raw observations, existing methods struggle to generalize across structurally similar scenes and remain vulnerable to spurious variations such as textures or color shifts. From a cognitive science perspective, humans segment continuous sensory streams into discrete events and rely on these key events for decision-making. Motivated by this principle, we propose the Event-Aware World Model (EAWM), a general framework that learns event-aware representations to streamline policy learning without requiring handcrafted labels. EAWM employs an automated event generator to derive events from raw observations and introduces a Generic Event Segmentor (GES) to identify event boundaries, which mark the start and end time of event segments. Through event prediction, the representation space is shaped to capture meaningful spatio-temporal transitions. Beyond this, we present a unified formulation of seemingly distinct world model architectures and show the broad applicability of our methods. Experiments on Atari 100K, Craftax 1M, and DeepMind Control 500K, DMC-GB2 500K demonstrate that EAWM consistently boosts the performance of strong MBRL baselines by 10%-45%, setting new state-of-the-art results across benchmarks. Our code is released at https://github.com/MarquisDarwin/EAWM.