CoWorld Reasoner: Agentic Multimodal Reasoning with the Evolving Video World Model-Driven Harness
作者: Dongjie Cheng, Ruifeng Yuan, Ran Wei, Ning Song, Yongqi Li, Wenjie Li
分类: cs.AI
发布日期: 2026-10-15
💡 一句话要点
提出CoWorld Reasoner以解决多模态推理中的灵活性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态推理 视频世界模型 视觉想象 时空推理 智能监控 自动驾驶 虚拟现实
📋 核心要点
- 现有方法通常通过固定管道调用视频世界模型，限制了视觉想象的灵活性，无法适应多样化的推理任务。
- CoWorld Reasoner框架利用视频世界模型作为统一的视觉推理引擎，支持多种视觉操作和灵活的视觉想象。
- 在七个基准测试中，CoWorld Reasoner的表现优于直接推理，最强变体在MMSI和ERQA上分别提高了11.8%和13.0%。
📝 摘要（中文）
随着视觉-语言模型（VLMs）的进步，它们越来越被期望在运动、动作和视角变化上进行时空推理，超越输入图像的限制。视频世界模型（VWMs）为视觉想象提供了统一的引擎，通过生成与任务相关的视觉内容作为额外证据。然而，现有方法通常通过固定的管道调用VWM，限制了视觉想象的灵活性。为此，本文提出了CoWorld Reasoner，一个使用VWM作为统一视觉推理引擎的框架。该框架通过工具暴露多种视觉操作，并利用技能指导VLM决定是否进行想象、选择操作、构建生成请求和解释结果视觉证据。我们还引入了VLM-VWM协同进化，基于执行反馈共同修订工具、技能和执行代码，同时保持模型权重不变。实验表明，CoWorld Reasoner在七个基准测试中超越了直接推理，最强变体在所有七个基准上均有提升，MMSI和ERQA的相对准确率分别提高了11.8%和13.0%。
🔬 方法详解
问题定义：本文旨在解决现有方法在多模态推理中灵活性不足的问题，尤其是在调用视频世界模型时的固定管道限制。
核心思路：提出CoWorld Reasoner框架，利用视频世界模型作为统一的视觉推理引擎，支持多种视觉操作和灵活的视觉想象，以适应不同的推理任务。
技术框架：该框架包括视频世界模型驱动的工具和技能模块，指导VLM进行想象、选择操作、构建请求和解释结果。VLM与VWM的协同进化机制使得工具和技能能够根据执行反馈进行动态调整。
关键创新：最重要的创新在于引入了VLM-VWM协同进化机制，使得工具、技能和执行代码能够在保持模型权重不变的情况下进行共同修订，从而提升了推理的灵活性和准确性。
关键设计：在设计上，框架的工具和技能模块通过反馈机制进行动态调整，确保在不同推理任务中能够选择最优的视觉操作和生成请求。
🖼️ 关键图片
📊 实验亮点
实验结果显示，CoWorld Reasoner在七个基准测试中均超越了直接推理，最强变体在MMSI和ERQA上分别提高了11.8%和13.0%。此外，该方法在五个基准测试中超越了所有五个使用相同骨干的演变基线，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括智能监控、自动驾驶、虚拟现实等需要时空推理的场景。通过提升视觉推理的灵活性和准确性，CoWorld Reasoner能够在复杂环境中更好地理解和预测动态事件，具有重要的实际价值和未来影响。
📄 摘要（原文）
As Vision-Language Models (VLMs) advance, they are increasingly expected to perform spatiotemporal reasoning over motion, actions, and view changes beyond what the input images show. Video World Models (VWMs) provide a natural unified engine for visual imagination by generating task-relevant visual content as additional evidence. However, existing approaches typically invoke a VWM through fixed pipelines centered on a predefined form of visual imagination, such as novel-view synthesis. To support flexible visual imagination for diverse reasoning tasks, we introduce CoWorld Reasoner, an agentic framework that uses a VWM as a unified visual reasoning engine. Its Video World Model-Driven Harness exposes multiple visual operations through tools and uses skills to guide the VLM in deciding whether to imagine, selecting an operation, constructing a generation request, and interpreting the resulting visual evidence. We further introduce VLM-VWM Harness Co-Evolution, which jointly revises tools, skills, and execution code based on execution feedback while keeping both model weights fixed. Across seven benchmarks spanning spatial intelligence, temporal and causal reasoning, and perceptual reasoning, CoWorld Reasoner outperforms direct reasoning with the same VLM. The strongest variant improves on all seven benchmarks, including relative accuracy gains of 11.8% on MMSI and 13.0% on ERQA, and outperforms all five evolving baselines using the same backbone across five benchmarks.