LOCUS: Landmark-Oriented Container Discrimination Using Spatial Graphs

📄 arXiv: 2610.02803v1 📥 PDF

作者: Taylor Bergeron, Shibani Senthilbabu, Kevin Leahy

分类: cs.RO

发布日期: 2026-10-02

💡 一句话要点

提出LOCUS以解决复杂空间语义关系下的容器识别问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion)

关键词: 图神经网络 空间语义理解 机器人导航 容器识别 CLIP 家庭自动化 智能机器人

📋 核心要点

  1. 现有方法在处理空间和语义相似物体时存在识别困难，影响机器人在复杂环境中的操作能力。
  2. 本文提出LOCUS，通过训练图神经网络在环境场景图上更新CLIP嵌入，结合空间信息与语义知识。
  3. 实验结果显示，LOCUS在多种房间类别和配置中表现优于现有方法，验证了其有效性和鲁棒性。

📝 摘要（中文）

随着机器人在非结构化真实环境中的应用日益增多，理解物体之间复杂的空间和语义关系成为实现稳健和可泛化操作与导航的基本挑战。例如，决定在何处搜索不在视线范围内的物体，依赖于物体的物理可行性和语义可能性。现有方法如基于CLIP的余弦相似度在区分空间和语义相似的物体时存在困难。为此，本文提出了基于空间图的地标导向容器识别方法（LOCUS）。该方法通过训练图神经网络（GNN）在完整环境场景图上更新CLIP嵌入，利用节点间的接近性传递嵌入信息，并结合家庭本体的语义知识，提供了强大的语义信号。实验结果表明，该方法在多数房间类别和配置中优于随机、CLIP、Tidybot和LLM规划器。

🔬 方法详解

问题定义：本文旨在解决机器人在复杂环境中识别空间和语义相似物体的困难。现有方法如CLIP在处理此类问题时，往往无法有效区分相似物体，导致识别准确性下降。

核心思路：LOCUS的核心思路是通过图神经网络（GNN）在环境场景图上更新CLIP嵌入，利用节点间的空间接近性来增强语义理解，从而实现更准确的容器识别。

技术框架：该方法的整体架构包括环境场景图的构建、CLIP嵌入的初始化、GNN的训练与更新，以及最终的容器识别模块。通过节点间信息传递，GNN能够有效整合空间和语义信息。

关键创新：LOCUS的主要创新在于将GNN与CLIP嵌入结合，形成了一种新的空间语义融合方法。这种方法能够有效处理空间和语义相似的物体，显著提升了识别性能。

关键设计：在技术细节上，LOCUS采用了特定的损失函数来优化GNN的训练过程，并设计了适应环境变化的网络结构，以确保在不同场景下的鲁棒性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在实验中，LOCUS在多数房间类别和配置中表现优于随机选择、CLIP、Tidybot和LLM规划器，验证了其在容器识别任务中的有效性。具体而言，该方法在多个场景下的识别准确率显著提升，展示了其在真实环境应用中的潜力。

🎯 应用场景

LOCUS的研究成果在机器人导航、物体抓取和家庭自动化等领域具有广泛的应用潜力。通过提高机器人对复杂环境中物体的识别能力，该方法能够增强机器人在实际操作中的灵活性和智能化水平，推动智能家居和服务机器人等技术的发展。

📄 摘要（原文）

As robots are increasingly deployed in unstructured, real-world environments, the ability to reason about complex spatial and semantic relationships among objects remains a fundamental challenge in enabling robust and generalizable manipulation and navigation. For example, deciding where to search for an object that is not in plain sight depends on where it is physically plausible as well as semantically likely. Popular methods such as cosine similarity with CLIP struggle to disambiguate between spatially and semantically similar objects that could contain a target object. We propose Landmark-Oriented Container Discrimination Using Spatial Graphs (LOCUS). To jointly reason about spatial information and semantics, we train a GNN to update CLIP embeddings on a full environment scene graph by passing embedding information between nodes based on proximity. CLIP embeddings, augmented by semantic knowledge from a fusion of household ontologies provide a robust semantic signal. We evaluate in simulation on a noiseless scene graph from simulator metadata, making the approach detection-agnostic. Our approach outperforms random, CLIP, Tidybot, and an LLM planner in the majority of room classes and configurations in simulation. To show our approach is robust to scene graph node placement and label noise, we demonstrate a physical mobile manipulator running in an exploration pipeline start-to-finish including scene graph labels from Detic.