Reimagination with Test-time Observation Interventions: Distractor-Robust World Model Predictions for Visual Model Predictive Control

📄 arXiv: 2506.16565v1 📥 PDF

作者: Yuxin Chen, Jianglan Wei, Chenfeng Xu, Boyi Li, Masayoshi Tomizuka, Andrea Bajcsy, Ran Tian

分类: cs.RO, cs.AI, cs.CV

发布日期: 2025-06-19

💡 一句话要点

提出ReOI以解决视觉干扰下的世界模型预测问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界模型 视觉干扰 机器人学习 动作验证 开放世界 预测可靠性 观察干预 ReOI

📋 核心要点

  1. 现有的世界模型在面对新型视觉干扰物体时，预测的动作结果容易受到影响，导致机器人在规划或验证动作时出现失败。
  2. 本文提出的ReOI策略通过检测和去除视觉干扰，重新调整观察数据，从而提高世界模型在开放世界场景中的预测可靠性。
  3. 实验结果显示，ReOI在动作验证任务中表现出色，成功率在新型干扰物存在时提高了最多3倍，显著优于传统方法。

📝 摘要（中文）

世界模型使机器人能够根据当前观察和计划的动作“想象”未来的观察，然而在遇到训练中罕见的视觉干扰物体时，这些模型的表现仍然脆弱。本文提出了一种简单有效的测试时策略——观察干预重想（ReOI），使世界模型在开放世界场景中能够更可靠地预测动作结果。ReOI通过检测场景中在物理上不合理的元素来识别视觉干扰物，然后修改当前观察以去除这些干扰，最后重新想象未来结果并在后期重新引入干扰，以保持视觉一致性。实验表明，ReOI在存在新型干扰物时，任务成功率提高了最多3倍，显著优于不使用干预的世界模型预测。

🔬 方法详解

问题定义：本文旨在解决在开放世界场景中，世界模型在遇到新型视觉干扰物时预测不可靠的问题。现有方法在训练时未考虑这些干扰，导致预测结果失真。

核心思路：ReOI通过检测场景中物理上不合理的元素，识别视觉干扰物，并对当前观察进行修改，以便更好地适应训练分布，从而提高预测的可靠性。

技术框架：ReOI的整体流程包括三个主要阶段：首先检测视觉干扰物，其次修改观察以去除干扰，最后重新想象未来结果并在后期引入干扰以保持一致性。

关键创新：ReOI的核心创新在于其观察干预机制，通过动态调整观察数据，显著提高了世界模型在面对新型干扰时的预测能力，与传统方法相比具有本质区别。

关键设计：在设计中，ReOI采用了一种基于场景物理合理性的干扰检测算法，并通过调整观察数据的方式来优化模型输入，确保模型能够在复杂环境中保持稳定的预测性能。

📊 实验亮点

实验结果表明，ReOI在动作验证任务中成功率提高了最多3倍，尤其在存在新型视觉干扰物时，显著优于不使用干预的世界模型预测，展示了其在复杂环境中的强大适应能力。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在机器人操作、自动驾驶和智能监控等领域。通过提高机器人在复杂环境中的决策能力，ReOI能够显著提升机器人在实际应用中的可靠性和安全性，推动智能系统的进一步发展。

📄 摘要（原文）

World models enable robots to "imagine" future observations given current observations and planned actions, and have been increasingly adopted as generalized dynamics models to facilitate robot learning. Despite their promise, these models remain brittle when encountering novel visual distractors such as objects and background elements rarely seen during training. Specifically, novel distractors can corrupt action outcome predictions, causing downstream failures when robots rely on the world model imaginations for planning or action verification. In this work, we propose Reimagination with Observation Intervention (ReOI), a simple yet effective test-time strategy that enables world models to predict more reliable action outcomes in open-world scenarios where novel and unanticipated visual distractors are inevitable. Given the current robot observation, ReOI first detects visual distractors by identifying which elements of the scene degrade in physically implausible ways during world model prediction. Then, it modifies the current observation to remove these distractors and bring the observation closer to the training distribution. Finally, ReOI "reimagines" future outcomes with the modified observation and reintroduces the distractors post-hoc to preserve visual consistency for downstream planning and verification. We validate our approach on a suite of robotic manipulation tasks in the context of action verification, where the verifier needs to select desired action plans based on predictions from a world model. Our results show that ReOI is robust to both in-distribution and out-of-distribution visual distractors. Notably, it improves task success rates by up to 3x in the presence of novel distractors, significantly outperforming action verification that relies on world model predictions without imagination interventions.