WOVEN: Weaving Visual World Modeling into Multimodal LLMs

📄 arXiv: 2610.12417v1 📥 PDF

作者: Zheyu Fan, Yue Zhang, Mingkai Deng, Kangrui Wang, Qineng Wang, Canyu Chen, Jie Hao, Xing Fan, Chenlei Guo, Eric P. Xing, Mohit Bansal, Manling Li

分类: cs.CV, cs.CL, cs.LG

发布日期: 2026-10-08

💡 一句话要点

提出WOVEN以解决多模态大语言模型的视觉推理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 视觉推理 训练基准 数据增强 模型评估

📋 核心要点

  1. 现有的多模态大语言模型在视觉推理方面存在系统性缺陷，无法有效处理空间和时间推理任务。
  2. 论文提出WOVEN作为一种新的训练源和基准，通过组织视觉转移推理的监督信息，帮助模型在不同任务中重用学习能力。
  3. 实验结果表明，使用WOVEN训练的模型在26个外部基准上平均提升了22个基准，最高提升幅度达到27.3个百分点。

📝 摘要（中文）

多模态大语言模型（MLLMs）在空间、具身、物理和时间推理方面存在困难。我们假设这些失败反映了视觉转移推理的共同缺陷，并测试这种能力是否可以作为共享训练原语。我们引入WOVEN，一个用于视觉转移推理的训练源和基准，组织了场景、动作和推理类型的转移监督，使用来自视频预训练生成模型的多样化、真实的样本。通过对38个前沿MLLMs的评估，我们发现即使是最强的模型也远低于人类表现。通过在WOVEN上训练MLLMs，我们发现它们学习到了一种共享能力，能够广泛转移，显著提升了外部基准的表现。

🔬 方法详解

问题定义：本论文旨在解决多模态大语言模型在视觉推理方面的不足，现有方法未能有效支持跨场景、动作和推理操作的比较与评估。

核心思路：提出WOVEN作为一种系统化的训练源，通过组织不同场景、动作和推理类型的转移监督，帮助模型学习视觉转移推理能力。

技术框架：WOVEN的整体架构包括数据收集、监督组织和模型训练三个主要阶段，利用来自视频预训练生成模型的真实样本进行训练。

关键创新：WOVEN的创新在于其系统化的监督组织方式，能够有效地将视觉转移推理作为可重用的基础，显著提升模型在多种任务中的表现。

关键设计：在训练过程中，选择监督信息时优先考虑推理操作而非场景或动作，且更大幅度的视觉状态变化被认为更具鲁棒性。通过这种设计，模型能够更好地适应不同的推理任务。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，使用WOVEN训练的模型在26个外部基准上平均提升了22个基准，最高提升幅度达到27.3个百分点。此外，WOVEN数据能够替代任务自身训练数据的30-50%，且保持相似的准确性，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人视觉、自动驾驶、虚拟现实等，需要处理复杂视觉场景和推理任务的场景。通过提升多模态大语言模型的视觉推理能力，能够在这些领域实现更智能的交互和决策支持，具有重要的实际价值和未来影响。

📄 摘要（原文）

Multimodal large language models (MLLMs) struggle with spatial, embodied, physical, and temporal reasoning. We hypothesize that these failures reflect a shared deficit in visual transition reasoning, and test whether this capability can serve as a shared training primitive, one that different models can learn from different supervision sources and reuse across different tasks, with a systematic training recipe. Existing benchmarks document these deficits separately but do not support controlled comparisons across scenes, actions, and reasoning operations. We therefore introduce WOVEN, a training source and benchmark for visual transition reasoning that organizes transition supervision by scene, action, and reasoning type, using diverse, realistic rollouts from video-pretrained generative models: 36,076 examples across 20 scene types, 5 action types, and 8 reasoning types. We first evaluate 38 frontier MLLMs (e.g., GPT-5.4 and Qwen3-VL-235B-A22B) and find a substantial and systematic deficit: even the strongest models fall far below humans, and the failures recur across model families and persist with scale. We then train MLLMs at multiple scales on WOVEN and find that they learn a shared capability that transfers broadly: training subsets of only about 2,000 items each collectively improve 22 of 26 external benchmarks by up to 27.3 percentage points, and WOVEN data can replace 30-50% of a task's own training data with comparable accuracy. Controlled comparisons further yield a training recipe for visual world modeling, validated prospectively on held-out benchmarks: select supervision by the reasoning operation it teaches rather than by the actions, scenes, or domains it shows, and prefer larger changes to the visual state for robustness. Our work establishes visual transition reasoning as a reusable foundation for systematic visual world-model training in MLLMs.