WM-VLM: Probing Internal World Models for Interleaved Visual-Textual Reasoning

📄 arXiv: 2609.34826v1 📥 PDF

作者: Yuheng Zha, Yilei Wang, Qiyue Gao, Junrong Chen, Yujia Wu, Zhengfeng Lai, Zhengzhong Liu, Eric P. Xing

分类: cs.CV

发布日期: 2026-09-28

备注: 21 pages, 11 figures

💡 一句话要点

提出WM-VLM以解决视觉-文本推理中的空间问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉-语言模型 空间推理 多模态学习 世界模型 心理旋转 生成模型 深度学习

📋 核心要点

  1. 现有的视觉-语言模型主要依赖语言进行推理，缺乏对视觉状态的有效利用，限制了其在空间问题上的表现。
  2. WM-VLM通过引入轻量级的世界模型分支，使得模型能够生成中间视觉状态，从而实现视觉与文本的交互推理。
  3. 在2D和3D心理旋转任务中，WM-VLM相比于传统模型表现出显著提升，验证了生成视觉状态在推理过程中的重要性。

📝 摘要（中文）

人类通常通过心理模拟视觉变换来解决空间问题，而传统的视觉-语言模型（VLMs）主要通过语言进行推理。本文研究了VLMs是否能够通过文本和生成的视觉状态来解决空间问题。为此，我们引入了WM-VLM，该模型在预训练的VLM基础上增加了轻量级的世界模型分支，用于生成中间视觉状态。我们的两阶段训练首先教会模型生成下一个视觉状态，然后利用该状态进行推理。通过程序化构建具有可验证中间视觉状态的空间推理任务，我们评估了模型生成视觉状态的能力及其在回答问题时的依赖程度。在2D和3D心理旋转任务中，WM-VLM的表现始终优于经过监督微调的基础模型，提升幅度高达39.25个百分点。消融实验表明，这些提升依赖于生成的视觉状态，去除或损坏它们会显著降低性能。这些结果表明，内部世界模型为VLMs在语言和视觉空间中进行推理提供了有希望的路径。

🔬 方法详解

问题定义：本文旨在解决传统视觉-语言模型在空间推理任务中的不足，特别是它们对视觉状态的生成和利用能力较弱的问题。

核心思路：WM-VLM通过引入一个轻量级的世界模型分支，使模型能够生成中间视觉状态，从而在推理过程中结合视觉信息与文本信息。这样的设计旨在模拟人类的思维过程，增强模型的推理能力。

技术框架：WM-VLM的整体架构包括两个主要阶段：第一阶段是生成下一个视觉状态，第二阶段是利用生成的视觉状态进行推理。模型通过这两个阶段的训练，逐步提高其在空间推理任务中的表现。

关键创新：WM-VLM的核心创新在于引入了世界模型分支，使得模型能够在推理过程中生成和利用视觉状态。这一设计与现有方法的本质区别在于，传统方法往往只依赖文本信息，而WM-VLM则实现了视觉与文本的深度融合。

关键设计：在模型设计中，关键参数设置包括视觉状态的生成算法和损失函数的设计，确保生成的视觉状态能够有效支持后续的推理任务。此外，网络结构经过优化，以提高生成和推理的效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在2D和3D心理旋转任务中，WM-VLM的表现显著优于经过监督微调的基础模型，提升幅度高达39.25个百分点。这一结果表明，生成的视觉状态在推理过程中起到了关键作用，验证了内部世界模型的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人视觉、自动驾驶、增强现实等，需要结合视觉和语言进行复杂推理的场景。通过提升模型的空间推理能力，WM-VLM有望在智能助手、教育工具等领域发挥重要作用，推动多模态交互的进步。

📄 摘要（原文）

Humans often solve spatial problems by mentally simulating visual transformations. In contrast, conventional vision-language models (VLMs) reason primarily through language. We investigate whether VLMs can solve spatial problems by reasoning with both text and generated visual states. To this end, we introduce WM-VLM, which equips a pretrained VLM with a lightweight world model branch for generating intermediate visual states. Our two-stage training first teaches the model to generate the next visual state and then to use that state for reasoning. We programmatically construct spatial reasoning tasks with verifiable intermediate visual states. These tasks allow us to evaluate how well the model generates visual states and how much it relies on them to answer the question. On 2D and 3D mental rotation tasks, WM-VLM consistently outperforms the supervised fine-tuned backbone, with gains of up to 39.25 percentage points. Ablations suggest that these gains depend on the generated visual states, as removing or corrupting them sharply reduces performance. Together, these results suggest that internal world models offer a promising path toward VLMs that reason in both language and visual space.