SpatialMosaic: A Multiview VLM Dataset for Partial Visibility

📄 arXiv: 2512.23365v1 📥 PDF

作者: Kanghee Lee, Injae Lee, Minseok Kwak, Kwonyoung Ryu, Jungi Hong, Jaesik Park

分类: cs.CV

发布日期: 2025-12-29

💡 一句话要点

提出SpatialMosaic以解决部分可见性下的空间推理问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多视角学习 空间推理 数据生成 视觉问答 3D重建

📋 核心要点

  1. 现有方法依赖于预构建的3D表示，难以应对真实环境中的部分可见性和遮挡等挑战。
  2. 提出SpatialMosaic数据集，通过多视角图像直接学习空间推理，构建了200万对问答对。
  3. 实验结果显示，SpatialMosaic有效提升了多视角条件下的空间推理能力，验证了数据生成管道的有效性。

📝 摘要（中文）

多模态大型语言模型（MLLMs）的快速发展为增强3D场景理解和空间推理开辟了潜力。然而，现有方法通常依赖于预构建的3D表示或现成的重建管道，限制了其可扩展性和现实应用。为了解决这些限制，本文提出了一种可扩展的多视角数据生成和注释管道，构建了现实的空间推理问答（QA），形成了包含200万QA对的SpatialMosaic数据集。此外，本文还引入了SpatialMosaic-Bench，一个用于评估多视角空间推理的基准，包含100万QA对和6个任务。实验表明，所提出的数据集和视觉问答任务有效提升了在挑战性多视角条件下的空间推理能力。

🔬 方法详解

问题定义：本文旨在解决在真实环境中，部分可见性、遮挡和低重叠条件下的空间推理问题。现有方法多依赖于3D重建，限制了其在复杂场景中的应用。

核心思路：通过构建SpatialMosaic数据集，直接从多视角图像中学习空间推理，避免了对显式3D重建的依赖，从而提高了模型的适应性和可扩展性。

技术框架：整体架构包括数据生成和注释管道、SpatialMosaic数据集、SpatialMosaic-Bench基准以及SpatialMosaicVLM混合框架。数据生成管道负责创建问答对，基准用于评估模型性能，混合框架则结合了3D重建模型作为几何编码器。

关键创新：最重要的创新在于提出了一个可扩展的多视角数据生成和注释管道，能够生成现实的空间推理问答对，填补了现有方法在处理部分可见性和遮挡问题上的空白。

关键设计：在数据生成过程中，采用了多视角图像的采集和注释策略，确保了问答对的多样性和真实性。模型设计中，SpatialMosaicVLM框架集成了3D重建模型，增强了空间推理的鲁棒性。实验中使用了多种损失函数和网络结构，以优化模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SpatialMosaic数据集和视觉问答任务在多视角条件下显著提升了空间推理能力。与基线模型相比，性能提升幅度达到XX%，验证了数据生成管道的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等场景，能够帮助系统更好地理解和推理复杂的3D环境。未来，SpatialMosaic数据集和相关技术有望推动多模态学习和计算机视觉领域的进一步发展，提升智能系统在真实世界中的表现。

📄 摘要（原文）

The rapid progress of Multimodal Large Language Models (MLLMs) has unlocked the potential for enhanced 3D scene understanding and spatial reasoning. However, existing approaches often rely on pre-constructed 3D representations or off-the-shelf reconstruction pipelines, which constrain scalability and real-world applicability. A recent line of work explores learning spatial reasoning directly from multi-view images, enabling Vision-Language Models (VLMs) to understand 3D scenes without explicit 3D reconstructions. Nevertheless, key challenges that frequently arise in real-world environments, such as partial visibility, occlusion, and low-overlap conditions that require spatial reasoning from fragmented visual cues, remain under-explored. To address these limitations, we propose a scalable multi-view data generation and annotation pipeline that constructs realistic spatial reasoning QAs, resulting in SpatialMosaic, a comprehensive instruction-tuning dataset featuring 2M QA pairs. We further introduce SpatialMosaic-Bench, a challenging benchmark for evaluating multi-view spatial reasoning under realistic and challenging scenarios, consisting of 1M QA pairs across 6 tasks. In addition, we present SpatialMosaicVLM, a hybrid framework that integrates 3D reconstruction models as geometry encoders within VLMs for robust spatial reasoning. Extensive experiments demonstrate that our proposed dataset and VQA tasks effectively enhance spatial reasoning under challenging multi-view conditions, validating the effectiveness of our data generation pipeline in constructing realistic and diverse QA pairs. Code and dataset will be available soon.