OpenSpatial: A Principled Data Engine for Empowering Spatial Intelligence

📄 arXiv: 2604.07296v1 📥 PDF

作者: Jianhui Liu, Haoze Sun, Wenbo Li, Yanbing Zhang, Rui Yang, Zhiliang Zhu, Yijun Yang, Shenghe Zheng, Nan Jiang, Jiaxiu Jiang, Haoyang Huang, Tien-Tsin Wong, Nan Duan, Xiaojuan Qi

分类: cs.CL

发布日期: 2026-04-08

💡 一句话要点

提出OpenSpatial数据引擎，赋能空间智能，并构建3百万规模高质量数据集。

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)

关键词: 空间智能 数据引擎 3D bounding box 数据集生成 空间推理

📋 核心要点

  1. 现有空间智能研究侧重于特定领域，缺乏通用、开源的数据引擎来充分利用高质量空间数据。
  2. OpenSpatial通过3D bounding box构建数据层次，涵盖空间测量、关系、相机感知、多视图一致性和场景推理等任务。
  3. OpenSpatial-3M数据集包含300万样本，训练的模型在空间推理基准测试中取得SOTA，平均相对提升19%。

📝 摘要（中文）

空间理解是人类级别智能的基础。然而，当前研究主要集中于特定领域的数据生成，缺乏一个原则性的、开源的引擎来充分释放高质量空间数据的潜力。为了弥补这一差距，本文阐述了一个鲁棒的数据生成系统的设计原则，并介绍了OpenSpatial——一个为高质量、高可扩展性、广泛任务多样性和优化效率而设计的开源数据引擎。OpenSpatial采用3D bounding box作为基本图元，构建了一个涵盖五个基础任务的综合数据层次结构：空间测量(SM)、空间关系(SR)、相机感知(CP)、多视图一致性(MC)和场景感知推理(SAR)。利用这种可扩展的基础设施，我们策划了OpenSpatial-3M，一个包含300万个高保真样本的大规模数据集。广泛的评估表明，在我们数据集上训练的通用模型在各种空间推理基准测试中实现了最先进的性能。值得注意的是，性能最佳的模型实现了平均19%的显著相对改进。此外，我们还系统地分析了数据属性如何影响空间感知。通过开源引擎和3M规模的数据集，我们为加速未来空间智能研究提供了一个强大的基础。

🔬 方法详解

问题定义：现有空间智能研究的数据生成方法通常是领域特定的，缺乏一个通用的、可扩展的平台来支持不同类型的空间推理任务。这限制了模型在不同场景下的泛化能力，并且阻碍了空间智能领域的整体发展。现有方法难以保证数据质量，且数据规模受限。

核心思路：OpenSpatial的核心思路是构建一个基于3D bounding box的通用数据引擎，该引擎能够生成高质量、大规模、多样化的空间数据，从而支持各种空间推理任务。通过定义清晰的数据层次结构和任务类型，OpenSpatial旨在提供一个统一的框架，促进不同空间智能模型之间的比较和评估。

技术框架：OpenSpatial的整体框架包括以下几个主要模块：1) 场景生成模块：负责生成包含各种对象和环境的3D场景。2) 数据标注模块：自动或半自动地为场景中的对象标注3D bounding box和其他相关信息。3) 任务生成模块：根据预定义的任务类型（如空间测量、空间关系等）生成相应的训练样本。4) 数据管理模块：负责存储、组织和检索生成的数据。整个流程旨在高效地创建大规模、高质量的空间数据集。

关键创新：OpenSpatial的关键创新在于其通用性和可扩展性。它不是针对特定任务或领域设计的，而是提供了一个通用的框架，可以支持各种空间推理任务。此外，OpenSpatial还具有很强的可扩展性，可以轻松地扩展到更大的数据集和更复杂的任务。另一个创新点在于其数据层次结构，通过定义清晰的任务类型和数据格式，OpenSpatial使得不同模型之间的比较和评估更加容易。

关键设计：OpenSpatial使用3D bounding box作为基本图元，这使得它可以精确地描述对象的位置、大小和方向。在数据生成过程中，OpenSpatial采用了多种技术来保证数据质量，例如，使用物理引擎来模拟真实的物理交互，使用高质量的3D模型来渲染场景。此外，OpenSpatial还提供了一套API，方便用户自定义数据生成过程和任务类型。具体的损失函数和网络结构取决于在OpenSpatial上训练的具体模型，论文中没有详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

OpenSpatial-3M数据集训练的模型在多个空间推理基准测试中取得了SOTA性能，平均相对提升19%。这表明OpenSpatial生成的数据具有很高的质量和泛化能力。具体而言，该模型在空间测量、空间关系和场景感知推理等任务上均取得了显著的提升，证明了OpenSpatial在支持各种空间智能任务方面的有效性。

🎯 应用场景

OpenSpatial的研究成果可广泛应用于机器人导航、自动驾驶、增强现实、虚拟现实等领域。高质量的空间数据能够提升机器人对环境的感知和理解能力，从而实现更安全、更高效的自主导航。在自动驾驶领域，OpenSpatial可以用于生成各种复杂的交通场景，帮助训练更鲁棒的自动驾驶模型。此外，OpenSpatial还可以用于创建逼真的虚拟环境，为用户提供沉浸式的体验。

📄 摘要（原文）

Spatial understanding is a fundamental cornerstone of human-level intelligence. Nonetheless, current research predominantly focuses on domain-specific data production, leaving a critical void: the absence of a principled, open-source engine capable of fully unleashing the potential of high-quality spatial data. To bridge this gap, we elucidate the design principles of a robust data generation system and introduce OpenSpatial -- an open-source data engine engineered for high quality, extensive scalability, broad task diversity, and optimized efficiency. OpenSpatial adopts 3D bounding boxes as the fundamental primitive to construct a comprehensive data hierarchy across five foundational tasks: Spatial Measurement (SM), Spatial Relationship (SR), Camera Perception (CP), Multi-view Consistency (MC), and Scene-Aware Reasoning (SAR). Leveraging this scalable infrastructure, we curate OpenSpatial-3M, a large-scale dataset comprising 3 million high-fidelity samples. Extensive evaluations demonstrate that versatile models trained on our dataset achieve state-of-the-art performance across a wide spectrum of spatial reasoning benchmarks. Notably, the best-performing model exhibits a substantial average improvement of 19 percent, relatively. Furthermore, we provide a systematic analysis of how data attributes influence spatial perception. By open-sourcing both the engine and the 3M-scale dataset, we provide a robust foundation to accelerate future research in spatial intelligence.