A Scene Language Model for Open-Vocabulary Scene Mapping

📄 arXiv: 2609.21400v1 📥 PDF

作者: Adam Lilja, Fabio Hübel, Siming He, Junsheng Fu, Claire Tomlin, Lars Hammarstrand, Jitendra Malik, Jonas Frey, Marco Pavone

分类: cs.CV, cs.RO

发布日期: 2026-09-18

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出SceneLM以解决开放词汇3D场景映射问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇 3D场景映射 场景语言模型 持久表示 自动注释 边缘计算 机器人视觉

📋 核心要点

  1. 现有的3D场景映射系统依赖复杂的工程化管道，难以高效维护持久的场景表示。
  2. 本文提出SceneLM，通过结构化文本直接维护场景地图，简化了持久内存的复杂性。
  3. 实验表明，SceneLM在多个基准测试中表现优异，其场景表示比传统方法更为紧凑，且可在边缘设备上实时运行。

📝 摘要（中文）

开放词汇3D场景映射旨在构建环境中物体的持久表示。现有系统通常依赖于工程化的映射管道来关联观察、合并视图信息并维持一致的场景表示。许多系统还存储丰富的特征对象表示，增加了持久内存的大小和复杂性。本文提出了SceneLM，一个场景语言模型，直接维护文本场景图。完整场景以结构化文本列表的形式表示，作为模型唯一的持久内存。模型通过读取当前场景状态来更新地图，添加、编辑和移除对象。为学习这一行为，本文引入了迭代场景地图维护的监督任务，并通过自动注释管道从图像生成训练数据。实验结果表明，SceneLM在语言基础检索基准和定位基准上均表现出色，场景表示比传统方法紧凑6-12倍。

🔬 方法详解

问题定义：本文旨在解决开放词汇3D场景映射中的持久表示问题，现有方法通常依赖复杂的映射管道，导致内存使用效率低下和系统复杂性增加。

核心思路：SceneLM通过将场景表示为结构化文本列表，简化了持久内存的管理。模型在每次输入图像时更新场景地图，直接维护对象的添加、编辑和删除。

技术框架：整体架构包括输入图像处理、当前场景状态读取、场景地图更新和输出生成四个主要模块。模型通过自动注释管道生成训练数据，减少了对人工标签的依赖。

关键创新：SceneLM的最大创新在于其使用文本作为唯一的持久内存形式，显著降低了内存复杂性，同时保持了高效的场景表示能力。

关键设计：模型设计中采用了特定的损失函数以优化场景地图的更新过程，并通过迭代学习策略提升了模型的适应性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，SceneLM在语言基础检索和定位基准上表现出色，场景地图的表现与传统的完整映射系统相当，同时场景表示的紧凑性提高了6-12倍。此外，模型能够在边缘设备上实时运行，展示了其高效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动驾驶、增强现实等，能够为这些领域提供高效、实时的环境理解能力。通过简化场景表示，SceneLM有望在资源受限的边缘设备上实现更广泛的应用，推动智能系统的普及和发展。

📄 摘要（原文）

Open-vocabulary 3D scene mapping aims to build a persistent representation of the objects in an environment. Existing systems typically rely on engineered mapping pipelines to associate observations, merge information across views, and maintain a consistent scene representation over time. Many additionally store feature-rich object representations, such as embeddings or image crops, increasing the size and complexity of the persistent memory. We introduce SceneLM, a Scene-Language Model that directly maintains a textual scene map. The full scene is represented as a structured text list of objects, which serves as the model's only persistent memory. For each input image, the model reads the current scene state and updates the map by adding, editing, and removing objects. To learn this behavior, we introduce supervision tasks for iterative scene map maintenance together with an automatic annotation pipeline that generates training data from images without human labels. We evaluate SceneLM on both a language-grounded retrieval benchmark and a localization benchmark. Across both benchmarks, the model produces a scene map that achieves competitive performance with complete mapping systems built from dedicated perception and geometric modules while producing a scene representation that is 6-12x more compact. We further show that SceneLM can be run online on an edge device through experiments on a quadruped. These results show that a persistent open-vocabulary 3D scene map can be maintained directly by a single vision-language model using only a lightweight text representation. Training and inference code is available on https://goldengait.github.io/scenelm/.