World Models with Configurable Perception
作者: Yijun Shen, Delong Chen, Xianming Hu, Kai Zhang, Pascale Fung
分类: cs.CV
发布日期: 2026-10-20
💡 一句话要点
提出ConfigWM以解决世界建模中的信息干扰问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 世界建模 可配置感知 任务条件提取 动态学习 噪声环境
📋 核心要点
- 现有世界模型在处理噪声和无关信息时表现不佳，导致状态表示受到干扰。
- ConfigWM通过任务条件的状态提取，实现了对感知的可配置性，能够根据任务需求选择性保留信息。
- 在多种环境中，ConfigWM的规划成功率相对稳定，且在物理量探测和干扰到清晰检索方面均有显著提升。
📝 摘要（中文）
现实世界的观察数据通常噪声较大，并包含过多与任务无关的信息。有效的世界建模和规划需要将观察数据抽象为世界状态表示，同时过滤掉无关信息。现有的世界模型编码器通常是非自适应的，导致状态表示容易受到无关信息的干扰。为了解决这一问题，本文提出了ConfigWM，通过任务条件的状态提取实现可配置的感知。ConfigWM利用任务的语言描述作为配置信号，引导视觉嵌入映射到特定任务的状态空间，选择性地保留与当前任务相关的信息。实验结果表明，ConfigWM在噪声环境中表现稳定，平均超越最强竞争方法22.3%。
🔬 方法详解
问题定义：本文旨在解决现有世界模型在面对噪声和无关信息时，状态表示容易受到干扰的问题。现有方法的编码器通常缺乏自适应性，无法有效过滤与任务无关的信息。
核心思路：ConfigWM的核心思路是通过任务条件的状态提取，实现可配置的感知。它利用任务的语言描述作为配置信号，引导视觉嵌入映射到特定任务的状态空间，从而选择性地保留与当前任务相关的信息。
技术框架：ConfigWM的整体架构包括任务条件的状态提取模块和动作条件的动态学习模块。首先，通过语言描述配置感知，然后在任务特定的状态空间中学习动态模型以进行规划。
关键创新：ConfigWM的主要创新在于其可配置的感知机制，能够根据不同任务需求动态调整状态表示。这与现有方法的固定编码方式形成了本质区别。
关键设计：在设计中，ConfigWM使用了任务描述作为输入信号，结合特定的损失函数来优化状态提取过程。网络结构上，采用了适应性编码器，以增强对任务相关信息的保留能力。
🖼️ 关键图片
📊 实验亮点
在多种噪声环境下，ConfigWM的规划成功率保持稳定，平均超越最强竞争方法22.3%。此外，在物理量探测中，ConfigWM的Pearson相关系数提升了0.365，而在干扰到清晰检索任务中，提升幅度达到75.5%。这些结果表明ConfigWM在保留任务相关信息方面的有效性和鲁棒性。
🎯 应用场景
ConfigWM的研究成果在机器人导航、自动驾驶、智能助手等领域具有广泛的应用潜力。通过有效过滤无关信息，该方法能够提升系统在复杂环境中的决策能力和规划效率，进而推动智能系统的可靠性和实用性。未来，ConfigWM可能会在更多动态和不确定环境中得到应用，进一步提升智能体的适应能力。
📄 摘要（原文）
Real-world observations are noisy and often contain excessive task-irrelevant information. Effective world modeling and planning need to abstract observations into world state representations while filtering out irrelevant information. However, encoders in existing world models are typically non-adaptive, leading to state representations that are easily distracted by task-irrelevant information. As a result, the model may not selectively filter observations to cater to different task demands. To address this problem, we introduce ConfigWM, which realizes configurable perception through task-conditioned state extraction. Given a language description of the task at hand, ConfigWM uses it as a configuration signal to steer how visual embeddings are mapped into a task-specific state space, selectively preserving information relevant to the current task while suppressing task-irrelevant variations. Action-conditioned dynamics are then learned in this task-specific state space for planning. We evaluate ConfigWM in environments with increasing levels of distraction. While existing methods exhibit substantial declines in planning success rate as the environments become increasingly noisy, ConfigWM remains comparatively stable and outperforms the strongest competing method by 22.3% on average across diverse environments. Consistent gains in physical-quantity probing (+0.365 Pearson r) and distracted-to-clean retrieval (+75.5%) further indicate that ConfigWM learns states that preserve task-relevant information while remaining robust to distractors, supporting reliable world modeling and planning in noisy worlds. Project Page: https://configwm.github.io