What Matters for World Modeling in Vision-Language-Action Models?

📄 arXiv: 2610.19825v1 📥 PDF

作者: Qisen Ma, Yixiang Chen, Yuan Xu, Peiyan Li, Jiabing Yang, Kai Wang, Jianhua Yang, Jianlou Si, Jun Huang, Jing Liu, Nianfeng Liu, Yan Huang, Liang Wang

分类: cs.RO, cs.CV

发布日期: 2026-10-14

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出世界建模方法以提升视觉-语言-行动模型的性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-行动模型 世界建模 多模态学习 策略优化 动态任务

📋 核心要点

  1. 现有的视觉-语言-行动模型在世界建模方面存在整合不一致性，难以确定有效因素。
  2. 论文提出了四种世界建模范式，并在统一框架下进行系统评估，以明确不同因素的影响。
  3. 研究结果表明，解耦的MoT未来专家在OOD鲁棒性上表现优异，且世界建模在多种任务中提升了性能。

📝 摘要（中文）

将世界模型整合到视觉-语言-行动模型（VLA）中已成为一个有前景的方向，使得策略能够预测未来动态，而不仅仅依赖于反应式的观察-行动映射。然而，现有方法在世界表示、整合范式和策略骨干方面存在差异，导致难以确定有效整合的关键因素。为了解析这些因素，本文将现有工作分为四个代表性范式，并在统一框架内实例化每个范式，系统评估不同世界表示和策略骨干的效果。研究发现，世界表示的有效性依赖于范式，2D语义表示在跨范式中提供了稳健的增益；没有单一范式是普遍最优的，但解耦的MoT未来专家在OOD鲁棒性方面表现出色；世界建模对基于标准VLM的策略有持续的益处，而解耦设计与预训练VLA的兼容性更强；世界建模在多个设置中提升了性能，尤其在长时间和动态任务中表现显著。

🔬 方法详解

问题定义：本文旨在解决现有视觉-语言-行动模型中世界建模整合不一致的问题，现有方法在世界表示和策略骨干方面的差异使得有效整合的关键因素难以识别。

核心思路：通过将现有工作分为四个代表性范式，论文在统一框架内评估这些范式的有效性，旨在找出最优的世界建模策略。

技术框架：整体架构包括四个主要模块：隐式未来对齐、显式未来查询、MoT未来专家和外部世界预测器。每个模块在不同的世界表示和策略骨干下进行评估。

关键创新：本文的主要创新在于系统化地评估不同世界建模范式的有效性，特别是解耦的MoT未来专家在OOD鲁棒性方面的竞争力。

关键设计：在实验中，采用了多种世界表示，包括2D语义表示，并对策略骨干进行了精心选择，以确保不同范式的全面评估。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，解耦的MoT未来专家在OOD鲁棒性方面表现优异，整体性能在多个设置中超过了基线，特别是在长时间和动态任务中，性能提升显著，具体数据未提供。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、智能助手和自动驾驶等场景，能够通过更准确的世界建模提升决策能力和任务执行效率。未来，随着技术的进步，可能会在更复杂的动态环境中实现更广泛的应用。

📄 摘要（原文）

Integrating world models into Vision-Language-Action models (VLAs) has emerged as a promising direction, enabling policies to anticipate future dynamics beyond reactive observation-to-action mapping. However, existing approaches vary simultaneously in their world representations, integration paradigms, and policy backbones, making it difficult to determine what truly matters for effective world model integration. To disentangle these factors, we categorize existing efforts into four representative paradigms, namely Implicit Future Alignment, Explicit Future Query, MoT Future Expert, and External World Predictor. We instantiate each within a unified framework and systematically evaluate these paradigms with diverse world representations and policy backbones across in-domain, out-of-domain, long-horizon, dynamic, few-shot, and real-world settings. Our study yields four main findings: 1) world representation effectiveness is paradigm-dependent, whereas 2D semantic representations offer robust, cross-paradigm gains; 2) no single paradigm is universally optimal, yet the decoupled MoT Future Expert offers competitive overall performance, particularly in OOD robustness; 3) world modeling consistently benefits policies built on standard VLMs, while decoupled designs exhibit greater compatibility with pretrained VLAs; and 4) world modeling improves performance over action-only baselines across multiple settings, with notable gains on long-horizon and dynamic tasks. Project page and video demonstrations are available at https://dylanmqs.github.io/WM-in-VLAs/.