Learning Intrinsic Dynamics in Latent World Models
作者: Jiamin Shi, Yuanhong Zhang, Zhiyang Liu, Jiawei Sun, Jingwen Fu
分类: cs.AI
发布日期: 2026-10-15
备注: 12 pages, 5 figures
💡 一句话要点
提出Concat IDM以解决内在动态学习问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 内在动态 动作可预测性 Concat IDM 潜在世界模型 机器人控制 视觉多样性 规划成功率
📋 核心要点
- 核心问题：现有方法在学习内在动态时，视觉变化可能掩盖动作与后果之间的关系，导致动作可预测性不足。
- 方法要点：本文提出Concat IDM，通过鼓励动作可预测性，保持不同动作及其后果的区分，从而增强内在动态的学习。
- 实验或效果：在Push-T任务中，Concat IDM的规划成功率从9.1%提升至77.2%，相较于单一外观的提升幅度达到52.9个百分点。
📝 摘要（中文）
学习内在动态，即动作与其后果之间的关系，对于世界模型至关重要。然而，视觉变化可能会掩盖学习表示中的这种关系。本文探讨了动作可预测性与内在动态保持之间的联系，提出鼓励动作可预测性可以防止表示丢弃不同动作及其后果的区分。通过理论推导和实证研究，验证了动作预测在保持控制相关转移信息中的作用。我们提出的Concat IDM方法通过从连接的潜在状态中预测动作，显著提高了在视觉多样性下的规划成功率。
🔬 方法详解
问题定义：本文旨在解决在学习内在动态时，视觉变化对动作与后果关系的干扰问题。现有方法在处理多样化视觉输入时，往往无法有效保持动作的可预测性，导致学习效果不佳。
核心思路：论文提出通过增强动作可预测性来保持内在动态的区分性，具体而言，Concat IDM方法通过从连接的潜在状态中预测动作，利用已有的动作标签进行训练，从而提升模型的表现。
技术框架：Concat IDM的整体架构包括一个共享编码器和一个动作预测模块。共享编码器负责从潜在状态中提取特征，而动作预测模块则利用这些特征进行动作的预测。该框架在训练过程中不改变测试时的规划器，确保了模型的灵活性。
关键创新：最重要的技术创新在于将动作可预测性作为内在动态学习的归纳偏置，提出Concat IDM方法有效地结合了动作标签与潜在状态，显著提高了模型在多样化视觉输入下的表现。
关键设计：在Concat IDM中，采用了连接潜在状态的方式进行动作预测，并设计了相应的损失函数以优化预测精度。此外，网络结构中引入了对不同动作后果的区分机制，以确保模型能够有效学习到内在动态。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Concat IDM在Push-T任务中的规划成功率从9.1%提升至77.2%，相较于单一外观的提升幅度达到52.9个百分点。这表明该方法在视觉多样性下显著增强了模型的学习能力和决策效果。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶、游戏AI等需要处理多样化视觉输入的场景。通过提高模型对动作可预测性的理解，能够在复杂环境中实现更高效的决策和规划，具有重要的实际价值和未来影响。
📄 摘要（原文）
Learning intrinsic dynamics---the relationship between actions and their consequences---is essential for world models. However, visual variations unrelated to the underlying control process can obscure this relationship in learned representations. We investigate the connection between action predictability, defined as the ability to reconstruct an action from consecutive latent states, and the preservation of intrinsic dynamics. Our central hypothesis is that encouraging action predictability discourages representations from discarding the distinctions between different actions and their consequences. We provide two complementary forms of evidence for this connection. Theoretically, we derive a positive lower bound on squared inverse prediction error when the encoder merges distinguishable outcomes of different actions from the same state and appearance, and show that forward prediction can still be exact on those transitions. Empirically, controlled appearance-diversity comparisons, supervision interventions, and latent probes support the role of action prediction in preserving control-relevant transition information. We instantiate action predictability with Concat IDM, which predicts actions from concatenated latent states and updates the shared encoder using action labels already available in offline trajectories, without changing the test-time planner. Across three independent training runs on Push-T with 24 appearances, Concat IDM increases planning success from 9.1% to 77.2%; its paired improvement is 52.9 percentage points larger than that observed with a single appearance. Together, these findings support action predictability as an inductive bias toward intrinsic dynamics and demonstrate the practical benefits of Concat IDM for latent planning under visual diversity.