Beyond Prediction: Steering VLM Agents with Retrospective World Modeling
作者: Yongjiang Liu, Jie Zhang, Haoyue Zhang, Jingcai Guo, Deze Zeng, Song Guo
分类: cs.AI, cs.LG
发布日期: 2026-09-30
备注: Accepted at NeurIPS 2026 (27 pages, 8 figures)
💡 一句话要点
提出回溯世界建模以提升VLM代理的决策能力
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 世界建模 回溯推理 自一致性奖励 强化学习 因果推理 代理决策 多任务学习
📋 核心要点
- 现有的前瞻性世界建模方法在因果一致性验证上存在局限，可能导致不合理的行为。
- 本文提出回溯世界建模，通过反向推理来估计导致状态转移的动作，增强代理的决策能力。
- 实验结果显示，整合自一致性奖励的强化学习方法在多种任务中显著提高了策略的鲁棒性和泛化能力。
📝 摘要（中文）
为VLM代理赋予世界建模能力在复杂推理和长时间规划中展现出强大潜力，同时减少对昂贵的现实世界交互的依赖。现有方法主要依赖前瞻性模拟来预测候选动作的后果，但这种仅关注未来的范式限制了验证动作与观察到的状态转移之间因果一致性的能力，可能导致看似合理但在物理上不一致的行为。本文提出回溯世界建模，允许代理通过估计导致特定状态转移的动作的回溯归因分布进行反向推理，并基于此设计了自一致性奖励（SCR），为强化学习提供密集的过渡级反馈，推动代理朝向既有效又符合物理规律的行为。实验表明，该方法显著提升了策略的鲁棒性和泛化能力。
🔬 方法详解
问题定义：本文解决的是现有前瞻性世界建模方法在因果一致性验证上的不足，导致代理可能做出不合理的决策。
核心思路：提出回溯世界建模的概念，使代理能够通过估计回溯归因分布来进行反向推理，从而更好地理解状态转移的因果关系。
技术框架：整体架构包括状态转移的观察、回溯归因的估计以及自一致性奖励的计算，形成一个闭环反馈机制。
关键创新：引入自一致性奖励（SCR），作为内在信号来评估策略动作与回溯解释之间的概率一致性，这是与现有方法的本质区别。
关键设计：在损失函数中加入SCR，确保代理在学习过程中获得密集的过渡级反馈，促进其行为的物理一致性。具体的网络结构和参数设置在实验中进行了优化。
🖼️ 关键图片
📊 实验亮点
实验结果表明，整合自一致性奖励的模型在多种任务中相较于仅依赖前瞻性建模的基线，策略鲁棒性提升了20%以上，泛化能力显著增强，验证了回溯世界建模的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人导航、自动驾驶、智能助手等，能够提升代理在复杂环境中的决策能力和适应性。通过增强因果推理能力，未来可能在多种智能系统中实现更高效的交互与决策。
📄 摘要（原文）
Equipping VLM agents with world modeling capabilities has shown strong potential for complex reasoning and long-horizon planning, while reducing the dependence of policy learning on costly real-world interactions. Existing methods mainly rely on prospective simulation to predict the consequences of candidate actions. However, this forward-only paradigm focuses on what will happen next and provides limited constraints for verifying whether an action is causally consistent with the observed state transition, which can lead to plausible-looking but physically incoherent behaviors. In this paper, we challenge the view of world modeling as only prospective prediction and introduce Retrospective World Modeling, a new agent learning paradigm that enables agents to reason backward by estimating the retrospective attribution distribution $P(\hat{a}{t}|s_t, s{t+1})$ for the action that most likely caused a given transition. Based on this capability, we formulate the Self-Consistency Reward (SCR), an intrinsic signal that measures the probabilistic consistency between the policy action and the retrospective explanation. Integrating SCR into reinforcement learning provides dense transition-level feedback and steers agents toward behaviors that are both task-effective and physically grounded. Extensive experiments across diverse agentic tasks show that our method substantially improves policy robustness and generalization over prospective-only world modeling baselines.