Real-Time Indoor Object SLAM with LLM-Enhanced Priors

📄 arXiv: 2509.21602v1 📥 PDF

作者: Yang Jiao, Yiding Qiu, Henrik I. Christensen

分类: cs.RO

发布日期: 2025-09-25

💡 一句话要点

利用LLM增强先验知识，实现实时室内物体SLAM

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 物体SLAM 大型语言模型 先验知识 图优化 室内场景理解

📋 核心要点

  1. 物体级SLAM面临稀疏观测导致的欠约束优化问题，现有方法依赖人工标注常识知识，泛化性不足。
  2. 利用大型语言模型提供物体几何属性的常识知识，作为先验因子融入图优化SLAM框架，增强约束。
  3. 在TUM RGB-D和3RScan数据集上验证，相比基线方法，地图构建精度提升36.8%，并展示了实时性能。

📝 摘要（中文）

本文提出了一种基于大型语言模型（LLM）增强先验知识的物体级同步定位与地图构建（SLAM）方法，旨在解决因稀疏观测导致的欠约束优化问题。现有方法通常依赖人工标注的常识知识，泛化能力较弱。本文利用LLM提供物体几何属性（尺寸和方向）的常识知识，并将其作为先验因子融入基于图优化的SLAM框架中。这些先验知识在物体观测有限的初始阶段尤为重要。实验结果表明，该系统在TUM RGB-D和3RScan数据集上实现了鲁棒的数据关联和实时物体SLAM，相比最新基线方法，地图构建精度提高了36.8%。补充视频展示了其在真实环境中的实时性能。

🔬 方法详解

问题定义：物体级SLAM由于物体观测的稀疏性，容易出现欠约束优化问题，导致定位和地图构建精度下降。现有方法依赖人工标注的物体属性常识知识，成本高昂且难以泛化到新的物体类别。因此，如何自动获取并有效利用物体属性的先验知识，是提升物体级SLAM性能的关键挑战。

核心思路：本文的核心思路是利用大型语言模型（LLM）蕴含的丰富常识知识，自动生成物体几何属性（如尺寸和方向）的先验信息，并将其作为约束条件融入到SLAM优化过程中。LLM能够提供关于物体尺寸和方向的概率分布，从而在观测数据不足时提供额外的约束，提高SLAM的鲁棒性和精度。

技术框架：该系统采用基于图优化的SLAM框架，主要包含以下几个模块：1) 图像特征提取与物体检测；2) 基于LLM的物体属性先验生成；3) 数据关联与图构建；4) 图优化。首先，从RGB-D图像中提取特征并检测物体。然后，利用LLM生成物体尺寸和方向的先验概率分布。接着，基于特征匹配和先验信息进行数据关联，构建SLAM图。最后，通过优化SLAM图，得到精确的物体位姿和地图。

关键创新：该方法最重要的创新点在于利用LLM自动生成物体属性的先验知识，替代了传统的人工标注方式。这不仅降低了成本，还提高了系统的泛化能力。此外，将LLM生成的先验知识融入到图优化框架中，有效地解决了稀疏观测导致的欠约束问题。

关键设计：在LLM的使用上，采用了Prompt Engineering技术，设计合适的Prompt来引导LLM生成高质量的物体属性先验。在图优化中，将LLM提供的先验信息作为额外的因子加入到优化目标函数中，通过调整先验因子的权重来平衡先验知识和观测数据之间的影响。损失函数的设计考虑了物体尺寸和方向的不确定性，采用了鲁棒的损失函数来减少异常值的影响。

📊 实验亮点

实验结果表明，该系统在TUM RGB-D和3RScan数据集上取得了显著的性能提升。与最新的基线方法相比，地图构建精度提高了36.8%。此外，补充视频展示了该系统在真实环境中的实时性能，验证了其在实际应用中的可行性。

🎯 应用场景

该研究成果可应用于室内服务机器人、增强现实、三维场景重建等领域。例如，服务机器人可以利用该技术更准确地理解室内环境，从而实现更智能的导航和物体操作。增强现实应用可以利用该技术将虚拟物体更自然地融入到真实场景中。此外，该技术还可以用于快速构建室内三维地图，为城市规划和管理提供支持。

📄 摘要（原文）

Object-level Simultaneous Localization and Mapping (SLAM), which incorporates semantic information for high-level scene understanding, faces challenges of under-constrained optimization due to sparse observations. Prior work has introduced additional constraints using commonsense knowledge, but obtaining such priors has traditionally been labor-intensive and lacks generalizability across diverse object categories. We address this limitation by leveraging large language models (LLMs) to provide commonsense knowledge of object geometric attributes, specifically size and orientation, as prior factors in a graph-based SLAM framework. These priors are particularly beneficial during the initial phase when object observations are limited. We implement a complete pipeline integrating these priors, achieving robust data association on sparse object-level features and enabling real-time object SLAM. Our system, evaluated on the TUM RGB-D and 3RScan datasets, improves mapping accuracy by 36.8\% over the latest baseline. Additionally, we present real-world experiments in the supplementary video, demonstrating its real-time performance.