CitySTAR: Structured and Topology-Aware Reasoning for Open-Vocabulary Urban 3D Grounding

📄 arXiv: 2609.19911v1 📥 PDF

作者: Shuai Zhang, Hongye Hou, Qinghe Liu, Zhuoxiao Li, Dongli Wu, Jing Ou, Yuan Liu, Wufan Zhao

分类: cs.CV

发布日期: 2026-09-17

💡 一句话要点

提出CitySTAR以解决开放词汇城市3D定位问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D定位 开放词汇 结构约束推理 城市点云 多模态融合 智能城市 空间推理

📋 核心要点

  1. 现有的3D定位方法多依赖特征相似性，难以有效连接自然语言意图与城市点云中的隐含结构。
  2. 论文提出将城市规模的3D定位视为结构约束推理，利用无训练框架CitySTAR进行推理驱动的定位。
  3. 实验结果表明，CitySTAR在开放世界城市3D定位中显著提升了性能，同时保持了良好的可解释性和泛化能力。

📝 摘要（中文）

3D定位旨在从自然语言中定位复杂场景中的目标实体，是体现感知和空间推理的基础。然而，现有方法主要依赖特征相似性或直接匹配，难以将自然语言意图与隐藏在亿级城市点云中的隐含语义和几何结构相连接。我们将城市规模的3D定位重新定义为结构约束推理，描述语义被组织为可计算的跨模态约束。我们提出了CitySTAR，一个无训练的框架用于基于推理的城市3D定位。CitySTAR将原始的亿级城市点云提升为查询就绪的场景图，并通过CodeLLM驱动的工具提供节点属性和3D空间关系的多模态证据。最后，反射交叉模态定位模块整合了拓扑一致性和候选中心的2D视觉证据，以在度量感知的3D上下文图上做出决策。

🔬 方法详解

问题定义：本论文旨在解决开放词汇城市3D定位中的语义与几何结构连接困难的问题。现有方法多依赖特征相似性，无法有效处理亿级城市点云的复杂性。

核心思路：我们提出将城市规模的3D定位重新定义为结构约束推理，通过组织描述语义为可计算的跨模态约束，来实现更高效的定位。

技术框架：CitySTAR框架包括几个主要模块：首先，将城市点云提升为查询就绪的场景图；其次，使用CodeLLM驱动的工具提供多模态证据；最后，通过反射交叉模态定位模块进行决策。

关键创新：最重要的创新在于将3D定位视为结构约束推理，并引入了配对超图进行目标上下文拓扑建模，从而实现结构消歧。

关键设计：在设计中，采用了无训练的框架，结合了拓扑一致性和候选中心的2D视觉证据，确保了在度量感知的3D上下文图上做出准确决策。具体的参数设置和损失函数设计尚未详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，CitySTAR在开放世界城市3D定位任务中表现优异，相较于基线方法，性能提升幅度达到XX%，在语义覆盖、实例完整性和空间关系复杂性等方面均有显著改善。

🎯 应用场景

该研究的潜在应用领域包括智能城市规划、自动驾驶、增强现实等。通过提高3D定位的准确性和效率，CitySTAR能够为城市管理和导航系统提供更为精准的支持，未来可能对城市发展和智能交通产生深远影响。

📄 摘要（原文）

3D grounding aims to localize target entities in complex scenes from natural language and plays a fundamental role in embodied perception and spatial reasoning. However, existing approaches mostly rely on feature similarity or direct matching, making it difficult to connect natural-language intent with the implicit semantic and geometric structures hidden in billion-scale urban point clouds. We reformulate city-scale 3D grounding as structured constraint reasoning, where description semantics are organized into computable cross-modal constraints over open-vocabulary 3D entities, attributes, and spatial relations. We present CitySTAR, a training-free framework for reasoning-driven urban 3D grounding. CitySTAR lifts raw billion-scale urban point clouds into a query-ready scene graph of open-vocabulary 3D instances, with CodeLLM-driven tools supplying multimodal evidence for node attributes and 3D spatial relations. It then models target-context topology with paired hypergraphs and performs bidirectional topology verification for structural disambiguation. Finally, a Reflective Cross-modal Grounding module integrates topology consistency and candidate-centered 2D visual evidence to make decisions over a metric-aware 3D context graph. To further support this setting, we introduce CitySTAR-3D, an enhanced benchmark that improves semantic coverage, instance completeness, bounding-box fidelity, and spatial-relation complexity in city-scale 3D grounding. Extensive experiments show that CitySTAR consistently improves open-world urban 3D grounding while maintaining strong interpretability and generalization.