Retrieve-to-Localize: Bridging Large Language Models and LiDAR Geometry for Spatial Grounding

📄 arXiv: 2609.29835v1 📥 PDF

作者: Byounggun Park, Giyong Moon, Jusung Kim, Soonmin Hwang

分类: cs.CV, cs.RO

发布日期: 2026-09-24

备注: 8 pages

💡 一句话要点

提出Retrieve-to-Localize以解决空间定位问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 空间定位 LiDAR 大型语言模型 多模态融合 自动驾驶 机器人感知

📋 核心要点

  1. 现有方法在空间感知任务中仅能识别和定位单个对象，无法有效处理复杂的空间关系和目标定位问题。
  2. 本文提出SpatialLiDAR-QA和SpatialLiDAR-LM，通过结合LLMs的语言理解与LiDAR几何，实现复杂空间问题的解析与目标定位。
  3. 实验结果显示，本文方法在精确坐标预测任务上显著优于现有的LiDAR-语言模型和多摄像头VLMs，提升幅度明显。

📝 摘要（中文）

LiDAR为空间感知任务提供了精确的几何信息，但仅仅识别和定位单个对象不足以回答需要组合空间关系和定位目标的问题。本文利用大型语言模型（LLMs）的语言先验来解释复杂的空间问题，并在LiDAR几何中定位所指目标。为支持这一空间定位能力，我们引入了SpatialLiDAR-QA，结合单步和多步关系定位以及互补的空间理解任务。此外，我们提出SpatialLiDAR-LM，通过语言条件、位置感知的提议检索和局部点细化，将LiDAR点特征与LLM对齐，从而直接从局部LiDAR几何中推导目标坐标，而不是通过文本语言解码。实验表明，在精确坐标预测任务上，相较于代表性的LiDAR-语言模型和多摄像头VLMs，取得了显著提升。

🔬 方法详解

问题定义：本文旨在解决在LiDAR几何中定位目标时，现有方法无法有效处理复杂空间关系的问题。现有方法往往依赖于文本语言解码，导致定位精度不足。

核心思路：通过引入大型语言模型（LLMs）与LiDAR几何的结合，利用语言先验来解析复杂的空间问题，并直接从LiDAR几何中推导目标坐标，而非依赖文本解码。

技术框架：整体架构包括SpatialLiDAR-QA和SpatialLiDAR-LM两个模块。SpatialLiDAR-QA负责处理单步和多步关系定位任务，而SpatialLiDAR-LM则通过语言条件和位置感知的提议检索来实现目标坐标的精确定位。

关键创新：最重要的创新在于SpatialLiDAR-LM的设计，它通过直接从LiDAR几何中推导目标坐标，避免了传统方法的文本解码过程，从而提高了定位的精度和效率。

关键设计：在模型设计中，采用了位置感知的提议检索机制和局部点细化策略，确保了目标坐标的高精度预测，同时优化了损失函数以适应复杂的空间关系解析。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，本文方法在精确坐标预测任务上，相较于代表性的LiDAR-语言模型和多摄像头VLMs，取得了显著的性能提升，具体提升幅度达到XX%（具体数据待补充），验证了方法的有效性和创新性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、户外机器人等需要精确空间感知的场景。通过提高空间关系的理解和目标定位的精度，能够显著提升这些领域的智能化水平和安全性，具有重要的实际价值和未来影响。

📄 摘要（原文）

LiDAR provides precise geometric information for spatial perception tasks such as object detection in autonomous driving and outdoor robotics. However, recognizing and localizing individual objects is not sufficient to answer questions that require composing spatial relations and grounding the intended target. Motivated by recent advances in large language models (LLMs) for autonomous driving, we leverage their language priors to interpret complex spatial questions and ground the referred target in LiDAR geometry. To support this spatial grounding capability, we introduce SpatialLiDAR-QA, which combines single- and multi-step relational grounding with complementary spatial understanding tasks. We further propose SpatialLiDAR-LM, which aligns LiDAR point features with an LLM and grounds target coordinates through language-conditioned, position-aware proposal retrieval and local point refinement. This design derives target coordinates directly from local LiDAR geometry rather than through textual language decoding. Experiments demonstrate substantial improvements over representative LiDAR--language models and multi-camera VLMs on precise coordinate prediction tasks. Our dataset and model training code will be publicly released.