Open-Set 3D Scene Graphs for Field Robotics: An Outdoor Case Study

📄 arXiv: 2609.04607v1 📥 PDF

作者: Chad R. Samuelson, Gabriel R. Slade, Joshua G. Mangelson

分类: cs.RO

发布日期: 2026-09-04

备注: This work has been accepted for publication with the IEEE Transactions of Field Robotics Journal

💡 一句话要点

提出开放集3D场景图以解决户外机器人导航问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 三维场景图 开放集模型 户外机器人 语义理解 导航技术 环境表示 图结构

📋 核心要点

  1. 现有的3DSGs在复杂户外环境中的表现不佳，尤其是在处理开放集视觉语言模型时面临诸多挑战。
  2. 论文通过分析Terra 3DSG，提出了新的语义点嵌入和一致性指标，以提高3DSGs在户外环境中的稳定性和有效性。
  3. 实验结果显示，尽管成功率接近70%，但在路径效率和区域理解方面仍存在显著的改进空间。

📝 摘要（中文）

三维场景图（3DSGs）作为一种构建几何基础和语义信息层次化地图的有效方法，支持高层次的机器人推理。然而，3DSGs在实际户外环境中的表现尚不明确，尤其是在与开放集视觉语言模型（VLMs）结合时。本文分析了五个户外机器人数据集中的3DSG表示的共同组件，探讨了复杂户外环境中出现的挑战。通过对Terra 3DSG的案例研究，研究了语义点嵌入、位置节点图导航、区域级理解和内存大小等方面。引入了新的一致性指标来评估语义和结构图属性在同一环境重复遍历中的稳定性。结果表明，VLM点嵌入中存在异常值和多模态现象，且在导航对象检索中成功率接近70%。

🔬 方法详解

问题定义：本文旨在解决3DSGs在复杂户外环境中的表现不稳定问题，尤其是与开放集视觉语言模型结合时的挑战。现有方法在处理异常值和多模态时存在不足。

核心思路：通过引入新的语义点嵌入和一致性评估指标，论文旨在提高3DSGs在户外环境中的导航能力和语义理解。这样的设计可以帮助识别和处理环境中的多样性和复杂性。

技术框架：整体架构包括数据采集、语义点嵌入生成、图导航模块和一致性评估。每个模块相互协作，以实现高效的环境表示和导航能力。

关键创新：论文的主要创新在于引入了一致性指标来评估图的语义和结构属性的稳定性，这在现有文献中尚未得到充分探讨。

关键设计：在参数设置上，采用了特定的损失函数来优化语义点嵌入，并设计了高效的图结构以支持快速导航。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，VLM点嵌入中的异常值比例超过0.1，约30%的点存在此问题。尽管在导航对象检索中成功率接近70%，但路径效率仅为66%的最优水平，显示出在复杂环境中仍需改进。

🎯 应用场景

该研究的潜在应用领域包括户外机器人导航、环境监测和自动化物流等。通过提高3DSGs的稳定性和有效性，能够在复杂的自然环境中实现更高效的任务执行，具有重要的实际价值和未来影响。

📄 摘要（原文）

Three-dimensional scene graphs (3DSGs) have emerged as a promising approach for building geometrically grounded, semantically informed, hierarchical general-purpose maps to support high-level robotic reasoning. However, the behavior of 3DSGs in real-world outdoor deployments remains poorly understood, particularly when combined with open-set vision-language models (VLMs). In this field report, we analyze the components common to most 3DSG representations across five outdoor robotic datasets to characterize challenges that arise in complex outdoor environments. Using the recently proposed Terra 3DSG as a case study, we investigate semantic point embeddings, place-node graph navigation, region-level understanding, and memory size across the five diverse datasets. We additionally introduce novel consistency metrics to evaluate whether semantic and structural graph properties remain stable across repeated traversals of the same environment. Our analysis reveals that outliers and multiple modes are common in VLM point embeddings across all tested datasets with outlier ratios above $0.1$ for around $30\%$ of points. We demonstrate the feasibility of outdoor 3DSGs for navigation-based object retrieval, achieving success rates near $70\%$, though performance is limited by traversability failures and inefficient routing, with trajectories averaging approximately $66\%$ suboptimal path efficiency. Region-level understanding remains challenging in complex natural environments, with low average F1 scores around $0.359$. Overall, our results show that outdoor 3DSGs can maintain compact (less than $600$MB for multi-kilometer trajectories) and relatively consistent large-scale environment representations, while highlighting open challenges in handling multiple semantic modes, incorporating traversability into graph structures, and improving higher-level region understanding.