FutureWorlds: Learning Robotic World Models from Alternative Futures

📄 arXiv: 2610.01019v1 📥 PDF

作者: Hao Wu, Shengju Qian, Weiyan Wang, Fan Xu, Fan Zhang, Yuanpeng He, Qingsong Wen, Yuxuan Liang

分类: cs.CV, cs.RO

发布日期: 2026-10-01

备注: 32 pages, including references and appendix. Code: https://github.com/Alexander-wu/FutureWorlds

🔗 代码/项目: GITHUB

💡 一句话要点

提出FutureWorlds框架以解决机器人世界模型学习中的未来预测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人世界模型 未来预测 多模态学习 强化学习 记忆优化 策略优化 场景生成

📋 核心要点

  1. 现有方法在将替代预测转化为有效学习信号时面临挑战，尤其是在相似候选者和不同轨迹的历史维护方面。
  2. FutureWorlds框架通过多模态离散自回归模型和多样化束搜索，统一候选构建和历史维护，优化学习过程。
  3. 在多个数据集上，FutureWorlds显著提高了生成质量，减少了LPIPS指标，并且仅需200次MemSPO更新便可进一步提升效果。

📝 摘要（中文）

机器人世界模型通过预测基于动作的未来场景，为理解动作结果提供基础。然而，将替代预测转化为有用的学习信号仍然具有挑战性：相似候选者限制了信息质量比较，而不同轨迹则需要持续维护各自的历史。我们提出了FutureWorlds框架，统一了候选构建、历史维护和相对质量学习。FutureWorlds基于多模态离散自回归模型，利用多样化的束搜索在强化学习中构建候选未来，平衡信心和多样性。候选特定的有界记忆保留场景状态，确保生成和策略评分使用匹配的历史。我们进一步提出了MemSPO（记忆条件搜索引导策略优化），将视频轨迹奖励转换为组相对优势，以优化世界模型。在RT-1、BridgeV2和RoboCasa上，FutureWorlds相对于每个数据集的最强基线，分别减少了32帧预测的LPIPS 14.78%、20.84%和9.12%。

🔬 方法详解

问题定义：本论文旨在解决机器人世界模型在预测未来场景时的学习信号转化问题。现有方法在处理相似候选者和维护不同轨迹历史时存在不足，导致信息比较的有效性降低。

核心思路：FutureWorlds框架通过引入多模态离散自回归模型和多样化束搜索，构建候选未来场景，旨在平衡预测的信心与多样性，从而提升学习信号的质量。

技术框架：FutureWorlds的整体架构包括候选构建模块、历史维护模块和学习优化模块。候选构建模块利用束搜索生成多样的未来场景，历史维护模块通过候选特定的有界记忆保留场景状态，而学习优化模块则通过MemSPO进行策略优化。

关键创新：最重要的创新在于MemSPO方法，它将视频轨迹奖励转化为组相对优势，优化了世界模型的学习过程。这一方法与现有的单一奖励优化策略有本质区别，能够更有效地利用历史信息。

关键设计：在设计中，采用了候选特定的有界记忆来确保生成和策略评分使用匹配的历史。此外，损失函数和网络结构经过精心设计，以支持多模态数据的处理和优化。具体的参数设置和网络架构细节在论文中有详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FutureWorlds在RT-1、BridgeV2和RoboCasa数据集上，分别减少了32帧预测的LPIPS指标14.78%、20.84%和9.12%。仅需200次MemSPO更新便可进一步提升生成质量，证明了该方法的有效性和高效性。

🎯 应用场景

FutureWorlds框架在机器人领域具有广泛的应用潜力，尤其是在自主导航、智能交互和复杂任务执行等场景中。通过提高机器人对未来场景的预测能力，该研究能够提升机器人在动态环境中的决策能力和适应性，推动智能机器人技术的发展。

📄 摘要（原文）

Robotic world models predict action-conditioned future scenes, providing a foundation for understanding action outcomes. However, turning alternative predictions into useful learning signals remains challenging: similar candidates limit informative quality comparisons, while diverging trajectories require persistent maintenance of their individual histories. We introduce FutureWorlds, a framework that unifies candidate construction, history maintenance, and learning from relative quality. Built on a multimodal discrete autoregressive model, FutureWorlds uses diverse beam search during reinforcement learning to construct candidate futures that balance confidence and diversity. Candidate-specific bounded memory preserves scene states and ensures that generation and policy scoring use matching histories. We further propose MemSPO (Memory-Conditioned Search-Guided Policy Optimization), which converts video trajectory rewards into group-relative advantages to optimize the world model. On RT-1, BridgeV2, and RoboCasa, FutureWorlds reduces LPIPS for 32-frame predictions by 14.78%, 20.84%, and 9.12%, respectively, relative to the strongest baseline on each dataset. Under fixed evaluation configurations, only 200 MemSPO updates further improve generation quality and support continued prediction beyond the training horizon. Memory ablations, decoding sensitivity analysis, and optical-flow evaluation show that these gains extend beyond visual quality to more accurate motion prediction and more consistent object states. Project page and code: https://github.com/Alexander-wu/FutureWorlds.