VIEW2SPACE: Studying Multi-View Visual Reasoning from Sparse Observations
作者: Fucai Ke, Zhixi Cai, Boying Li, Long Chen, Beibei Lin, Weiqing Wang, Pari Delir Haghighi, Gholamreza Haffari, Hamid Rezatofighi
分类: cs.CV
发布日期: 2026-03-17
💡 一句话要点
提出VIEW2SPACE基准，研究稀疏视角下的多视角视觉推理，并提出Grounded Chain-of-Thought方法。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多视角视觉推理 稀疏视角 基准数据集 视觉语言模型 Chain-of-Thought 物理引擎 三维场景理解
📋 核心要点
- 现有方法在单图像或时序密集视频上进行视觉推理，缺乏对稀疏视角下多视角推理的研究。
- 利用物理引擎构建高保真3D场景，生成大规模、带有精确元数据的VIEW2SPACE基准，用于稀疏多视角推理。
- 提出Grounded Chain-of-Thought方法，通过视觉证据提升推理性能，并在真实世界数据上表现出良好的泛化能力。
📝 摘要（中文）
多视角视觉推理对于智能系统理解复杂环境至关重要，但现有研究主要集中在单图像或时序密集视频上。本文利用物理引擎构建了高保真3D场景，并生成精确的视角元数据，从而构建了VIEW2SPACE基准，用于稀疏多视角推理。该基准包含数百万个问题-答案对。对现有视觉-语言和空间模型的评估表明，多视角推理仍未解决。本文进一步提出了带有视觉证据的Grounded Chain-of-Thought方法，显著提高了中等难度下的性能，并推广到真实世界数据。难度感知的缩放分析表明，几何感知可以受益于足够可见性下的缩放，但稀疏视角下的深度组合推理仍然是一个根本挑战。
🔬 方法详解
问题定义：论文旨在解决在稀疏视角下进行多视角视觉推理的问题。现有方法主要集中在单图像或时序密集视频上，无法有效处理真实场景中视角稀疏、信息不完整的情况。现有模型在多视角推理任务中表现不佳，性能远低于人类水平。
核心思路：论文的核心思路是利用物理引擎生成大规模、高质量的合成数据，并在此基础上训练模型。通过构建VIEW2SPACE基准，提供丰富的多视角场景和精确的元数据，从而促进多视角推理算法的研究。此外，论文还提出了Grounded Chain-of-Thought方法，利用视觉证据来指导推理过程。
技术框架：VIEW2SPACE基准的构建流程包括：1) 利用物理引擎生成3D场景；2) 从不同视角渲染图像，并生成相应的元数据（如相机位姿、物体语义信息）；3) 基于场景和图像生成问题-答案对。Grounded Chain-of-Thought方法则是在传统的Chain-of-Thought基础上，引入视觉证据作为推理的指导。
关键创新：论文的主要创新点包括：1) 构建了VIEW2SPACE基准，为多视角推理研究提供了大规模、高质量的数据；2) 提出了Grounded Chain-of-Thought方法，通过视觉证据来提升推理性能。与现有方法相比，Grounded Chain-of-Thought方法能够更好地利用视觉信息，进行更准确的推理。
关键设计：VIEW2SPACE基准包含了多种场景、物体和问题类型，旨在全面评估多视角推理算法的性能。Grounded Chain-of-Thought方法的关键设计在于如何有效地将视觉证据融入到推理过程中。具体来说，该方法首先利用视觉模型提取图像特征，然后将这些特征作为输入，指导Chain-of-Thought的生成。损失函数的设计旨在鼓励模型生成与视觉证据一致的推理路径。
🖼️ 关键图片
📊 实验亮点
实验结果表明，现有的视觉-语言和空间模型在VIEW2SPACE基准上的表现远低于人类水平，表明多视角推理仍然是一个具有挑战性的问题。提出的Grounded Chain-of-Thought方法在中等难度下显著提高了性能，并在跨数据集评估中优于现有方法，验证了其有效性和泛化能力。难度感知的缩放分析表明，几何感知可以受益于足够可见性下的缩放。
🎯 应用场景
该研究成果可应用于机器人导航、自动驾驶、三维场景理解、增强现实等领域。通过多视角视觉推理，智能系统能够更好地理解周围环境，从而做出更准确的决策。例如，在自动驾驶中，可以利用多个摄像头的信息，进行更可靠的障碍物检测和路径规划。
📄 摘要（原文）
Multi-view visual reasoning is essential for intelligent systems that must understand complex environments from sparse and discrete viewpoints, yet existing research has largely focused on single-image or temporally dense video settings. In real-world scenarios, reasoning across views requires integrating partial observations without explicit guidance, while collecting large-scale multi-view data with accurate geometric and semantic annotations remains challenging. To address this gap, we leverage physically grounded simulation to construct diverse, high-fidelity 3D scenes with precise per-view metadata, enabling scalable data generation that remains transferable to real-world settings. Based on this engine, we introduce VIEW2SPACE, a multi-dimensional benchmark for sparse multi-view reasoning, together with a scalable, disjoint training split supporting millions of grounded question-answer pairs. Using this benchmark, a comprehensive evaluation of state-of-the-art vision-language and spatial models reveals that multi-view reasoning remains largely unsolved, with most models performing only marginally above random guessing. We further investigate whether training can bridge this gap. Our proposed Grounded Chain-of-Thought with Visual Evidence substantially improves performance under moderate difficulty, and generalizes to real-world data, outperforming existing approaches in cross-dataset evaluation. We further conduct difficulty-aware scaling analyses across model size, data scale, reasoning depth, and visibility constraints, indicating that while geometric perception can benefit from scaling under sufficient visibility, deep compositional reasoning across sparse views remains a fundamental challenge.