SURPRISE3D: A Dataset for Spatial Understanding and Reasoning in Complex 3D Scenes

📄 arXiv: 2507.07781v1 📥 PDF

作者: Jiaxin Huang, Ziwen Li, Hanlve Zhang, Runnan Chen, Xiao He, Yandong Guo, Wenping Wang, Tongliang Liu, Mingming Gong

分类: cs.CV, cs.RO

发布日期: 2025-07-10

🔗 代码/项目: GITHUB

💡 一句话要点

SURPRISE3D：用于复杂3D场景中空间理解和推理的数据集

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D场景理解 空间推理 视觉语言 数据集 具身智能

📋 核心要点

  1. 现有3D视觉-语言数据集混合语义信息与空间信息，导致模型学习捷径而非真正的空间推理。
  2. SURPRISE3D数据集通过构建不包含对象名称的空间查询，减轻了模型对语义捷径的依赖。
  3. 实验表明，现有3D视觉定位方法和3D-LLM在SURPRISE3D上表现不佳，验证了数据集的挑战性和价值。

📝 摘要（中文）

语言与3D感知的结合对于具身智能和机器人系统感知、理解物理世界至关重要。空间推理是理解对象之间空间关系的关键能力，但在当前的3D视觉-语言研究中仍未得到充分探索。现有数据集通常将语义线索（例如，对象名称）与空间上下文混合，导致模型依赖于表面上的捷径，而不是真正地解释空间关系。为了解决这个问题，我们引入了S extsc{urprise}3D，这是一个新颖的数据集，旨在评估复杂3D场景中语言引导的空间推理分割。S extsc{urprise}3D包含来自ScanNet++ v2的900多个详细室内场景中的20多万个视觉语言对，包括2800多个独特的对象类别。该数据集包含89k+人工标注的空间查询，这些查询经过精心设计，不包含对象名称，从而减轻了空间理解中的捷径偏差。这些查询全面涵盖了各种空间推理技能，例如相对位置、叙述视角、参数视角和绝对距离推理。初步基准测试表明，当前最先进的专家3D视觉定位方法和3D-LLM面临着重大挑战，突显了我们的数据集和随附的3D空间推理分割（3D-SRS）基准套件的必要性。S extsc{urprise}3D和3D-SRS旨在促进空间感知AI的进步，为有效的具身交互和机器人规划铺平道路。代码和数据集可在https://github.com/liziwennba/SUPRISE中找到。

🔬 方法详解

问题定义：现有3D视觉-语言模型在进行空间推理时，容易利用数据集中的语义捷径（如物体名称）来完成任务，而没有真正理解空间关系。这导致模型在面对更复杂、更抽象的空间推理任务时表现不佳。现有数据集缺乏对空间推理能力的专门评估和训练。

核心思路：SURPRISE3D数据集的核心思路是通过构建不包含物体名称的空间查询，迫使模型学习真正的空间关系，而不是依赖于物体名称等语义信息。这种设计旨在消除数据集中的语义捷径，从而更有效地评估和训练模型的空间推理能力。

技术框架：SURPRISE3D数据集基于ScanNet++ v2，包含900多个室内场景，20万+视觉语言对。数据集构建流程包括：1) 从ScanNet++ v2中选择场景；2) 对场景中的物体进行标注；3) 人工生成不包含物体名称的空间查询，涵盖相对位置、叙述视角、参数视角和绝对距离推理等多种空间推理类型；4) 对查询进行验证和修正。同时，论文提出了3D空间推理分割（3D-SRS）基准套件，用于评估模型在SURPRISE3D上的表现。

关键创新：SURPRISE3D数据集的关键创新在于其空间查询的设计，这些查询不包含物体名称，从而避免了模型利用语义捷径进行推理。此外，数据集涵盖了多种空间推理类型，能够全面评估模型的空间推理能力。3D-SRS基准套件的提出，为评估和比较不同模型的空间推理性能提供了标准化的平台。

关键设计：SURPRISE3D数据集中的空间查询由人工生成，保证了查询的多样性和复杂性。查询涵盖了相对位置（如“在桌子左边的物体”）、叙述视角（如“从我的角度看，最远的物体”）、参数视角（如“距离我3米远的物体”）和绝对距离推理（如“高度大于1米的物体”）等多种空间推理类型。数据集的标注质量经过严格的人工审核，保证了标注的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有的3D视觉定位方法和3D-LLM在SURPRISE3D数据集上表现显著低于预期，这表明该数据集对现有方法提出了重大挑战。例如，在空间推理分割任务中，现有方法的准确率远低于人类水平，突显了数据集的难度和价值。这些结果验证了SURPRISE3D数据集在推动空间感知AI发展方面的潜力。

🎯 应用场景

SURPRISE3D数据集可以应用于训练和评估具身智能和机器人系统的空间推理能力。例如，机器人可以利用该数据集学习理解人类指令，并在复杂的室内环境中执行任务，如导航、物体定位和操作。该数据集还有助于开发更智能的虚拟助手和游戏AI，提升其在3D环境中的感知和交互能力。

📄 摘要（原文）

The integration of language and 3D perception is critical for embodied AI and robotic systems to perceive, understand, and interact with the physical world. Spatial reasoning, a key capability for understanding spatial relationships between objects, remains underexplored in current 3D vision-language research. Existing datasets often mix semantic cues (e.g., object name) with spatial context, leading models to rely on superficial shortcuts rather than genuinely interpreting spatial relationships. To address this gap, we introduce S\textsc{urprise}3D, a novel dataset designed to evaluate language-guided spatial reasoning segmentation in complex 3D scenes. S\textsc{urprise}3D consists of more than 200k vision language pairs across 900+ detailed indoor scenes from ScanNet++ v2, including more than 2.8k unique object classes. The dataset contains 89k+ human-annotated spatial queries deliberately crafted without object name, thereby mitigating shortcut biases in spatial understanding. These queries comprehensively cover various spatial reasoning skills, such as relative position, narrative perspective, parametric perspective, and absolute distance reasoning. Initial benchmarks demonstrate significant challenges for current state-of-the-art expert 3D visual grounding methods and 3D-LLMs, underscoring the necessity of our dataset and the accompanying 3D Spatial Reasoning Segmentation (3D-SRS) benchmark suite. S\textsc{urprise}3D and 3D-SRS aim to facilitate advancements in spatially aware AI, paving the way for effective embodied interaction and robotic planning. The code and datasets can be found in https://github.com/liziwennba/SUPRISE.