3D Question Answering for City Scene Understanding

📄 arXiv: 2407.17398v1 📥 PDF

作者: Penglei Sun, Yaoxian Song, Xiang Liu, Xiaofei Yang, Qiang Wang, Tiefeng Li, Yang Yang, Xiaowen Chu

分类: cs.CV

发布日期: 2024-07-24

💡 一句话要点

提出Sg-CityU模型和City-3DQA数据集，用于城市级场景的3D多模态问答

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D问答 多模态学习 场景理解 城市级场景 场景图 图神经网络 人机交互

📋 核心要点

  1. 现有3D多模态问答研究主要集中于室内或道路场景，缺乏对城市级场景的探索，难以理解城市空间语义和人-环境交互。
  2. 论文提出Sg-CityU模型，利用场景图引入空间语义信息，增强模型对城市级场景的理解能力，从而提升问答准确率。
  3. 实验结果表明，Sg-CityU在City-3DQA数据集上取得了显著的性能提升，并在鲁棒性和泛化性方面优于现有方法。

📝 摘要（中文）

本文针对城市级场景理解中的3D多模态问答(MQA)问题展开研究。现有研究主要集中于室内或道路场景，缺乏对城市级场景的探索，并且难以理解城市场景中存在的空间语义信息和人-环境交互信息。为了解决这些挑战，本文从数据集和方法两个角度入手。首先，构建了一个名为City-3DQA的新型3D MQA数据集，该数据集首次将场景语义和人-环境交互任务融入城市环境中。其次，提出了一种场景图增强的城市级理解方法(Sg-CityU)，利用场景图引入空间语义信息。实验结果表明，Sg-CityU在City-3DQA数据集的不同设置下分别取得了63.94%和63.76%的准确率。与室内3D MQA方法以及先进的大型语言模型(LLMs)的零样本学习相比，Sg-CityU在鲁棒性和泛化性方面表现出最先进的性能。

🔬 方法详解

问题定义：现有3D多模态问答方法在城市级场景理解中面临挑战，主要痛点在于缺乏对城市空间语义信息和人-环境交互信息的有效建模。已有的方法难以捕捉城市场景的复杂性和规模，导致问答准确率较低。

核心思路：论文的核心思路是利用场景图来显式地表示城市场景中的空间语义关系。通过构建场景图中物体之间的关系，模型可以更好地理解场景的结构和上下文信息，从而更准确地回答问题。这种方法能够有效地弥补现有方法在空间语义理解方面的不足。

技术框架：Sg-CityU模型的整体框架包含以下几个主要模块：1) 特征提取模块：用于提取3D场景的点云特征和文本问题的特征；2) 场景图构建模块：根据3D场景的点云数据构建场景图，节点表示物体，边表示物体之间的关系；3) 图神经网络模块：利用图神经网络对场景图进行推理，学习节点和边的表示；4) 多模态融合模块：将场景图的表示与文本问题的表示进行融合；5) 答案预测模块：根据融合后的表示预测答案。

关键创新：该方法最重要的技术创新点在于将场景图引入到城市级3D多模态问答任务中。通过场景图，模型可以显式地学习和利用场景中的空间语义关系，从而提高问答的准确率。与现有方法相比，Sg-CityU能够更好地理解城市场景的复杂性和规模。

关键设计：在场景图构建模块中，论文使用了一种基于距离和语义关系的边构建策略。在图神经网络模块中，论文使用了Graph Attention Network (GAT) 来学习节点和边的表示。在多模态融合模块中，论文使用了注意力机制来融合场景图的表示和文本问题的表示。损失函数采用交叉熵损失函数，优化器采用Adam优化器。具体的参数设置（如GAT的层数、注意力头的数量等）未知，需要在实验中进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Sg-CityU在City-3DQA数据集上取得了显著的性能提升，在不同设置下分别取得了63.94%和63.76%的准确率。与现有的室内3D MQA方法以及先进的大型语言模型(LLMs)的零样本学习相比，Sg-CityU在鲁棒性和泛化性方面表现出最先进的性能，证明了场景图在城市级3D多模态问答任务中的有效性。

🎯 应用场景

该研究成果可应用于智能城市、自动驾驶、增强现实等领域。例如，在智能城市中，该技术可以帮助智能体理解城市环境，从而提供更智能化的服务。在自动驾驶中，该技术可以帮助车辆理解周围的交通状况，从而提高驾驶安全性。在增强现实中，该技术可以帮助用户更好地理解周围的虚拟环境，从而提供更沉浸式的体验。

📄 摘要（原文）

3D multimodal question answering (MQA) plays a crucial role in scene understanding by enabling intelligent agents to comprehend their surroundings in 3D environments. While existing research has primarily focused on indoor household tasks and outdoor roadside autonomous driving tasks, there has been limited exploration of city-level scene understanding tasks. Furthermore, existing research faces challenges in understanding city scenes, due to the absence of spatial semantic information and human-environment interaction information at the city level.To address these challenges, we investigate 3D MQA from both dataset and method perspectives. From the dataset perspective, we introduce a novel 3D MQA dataset named City-3DQA for city-level scene understanding, which is the first dataset to incorporate scene semantic and human-environment interactive tasks within the city. From the method perspective, we propose a Scene graph enhanced City-level Understanding method (Sg-CityU), which utilizes the scene graph to introduce the spatial semantic. A new benchmark is reported and our proposed Sg-CityU achieves accuracy of 63.94 % and 63.76 % in different settings of City-3DQA. Compared to indoor 3D MQA methods and zero-shot using advanced large language models (LLMs), Sg-CityU demonstrates state-of-the-art (SOTA) performance in robustness and generalization.