Training-Free Target-Aware Refinement of 3D Gaussian Language Map
作者: Sibaek Lee, Kyeongsu Kang, Seongbo Ha, Yewon Jeon, Joonyeol Choi, Daegeol Ko, Jaehyuk Hur, Taemin Choi, Minsu Kim, Hyungjoo Ahn, Wonsok Yoo, Hyeonwoo Yu
分类: cs.RO, cs.CV
发布日期: 2026-10-15
备注: 8 pages, 6 figures. Project page: https://lab-of-ai-and-robotics.github.io/target-aware-langmap/
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出无训练目标感知的3D高斯语言图优化方法以解决定位问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D高斯图 语言图 目标感知 无训练优化 视觉-语言特征 机器人导航 开放词汇分割
📋 核心要点
- 现有的蒸馏语言图在定位用户指定目标时表现不佳，影响了实际应用的可靠性。
- 本文提出了一种无训练的目标感知优化方法，通过文本提示分割器引导，优化目标区域的视觉嵌入与文本嵌入的结合。
- 在三个基准测试中，优化后方法的开放词汇分割性能显著提升，mIoU值在Replica数据集上几乎翻倍，且在语言目标定位上更为可靠。
📝 摘要（中文）
本研究通过将视觉-语言特征蒸馏为3D高斯图，生成可通过任意文本查询的语言图。然而，现有方法在定位用户指定的目标时存在不足。为此，本文提出了一种无训练的目标感知优化方法，通过文本提示分割器引导，将每个检测到的目标区域内的视觉嵌入与目标文本嵌入进行混合。该方法在三个基准测试中均显著提高了开放词汇分割性能，并在语言目标定位上表现出更高的可靠性，且可作为插件应用于现有的语言图，支持在真实场景中进行自然语言导航的演示。
🔬 方法详解
问题定义：本文旨在解决现有蒸馏语言图在定位用户指定目标时的不足，尤其是在开放词汇查询能力与目标定位之间的平衡问题。现有方法往往无法准确定位用户感兴趣的目标，影响了实际应用效果。
核心思路：提出了一种无训练的目标感知优化方法，通过文本提示分割器引导，将目标区域的视觉嵌入与目标文本嵌入进行混合，优化目标定位的准确性，同时保持开放词汇查询的能力。
技术框架：整体方法包括目标检测、视觉嵌入与文本嵌入的混合、以及最终的目标定位。首先通过文本提示分割器检测目标区域，然后进行视觉与文本嵌入的结合，最后实现目标的准确定位。
关键创新：最重要的创新在于提出了一种无超参数调优的混合系数计算方法，使得每个目标的混合系数可以闭式求解，从而避免了传统方法中的超参数调整问题。
关键设计：在设计中，采用了文本提示分割器来引导目标检测，混合系数的选择基于目标的视觉特征与文本特征之间的关系，确保了在注入先验信息时不影响非目标区域的表现。
🖼️ 关键图片
📊 实验亮点
实验结果显示，优化后的方法在Replica数据集上的基础mIoU值几乎翻倍，显著提升了开放词汇分割性能。同时，在语言目标定位方面，相较于基础图，优化后的方法表现出更高的可靠性，验证了其有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人导航、智能助手和增强现实等场景，能够实现基于自然语言的目标定位与导航。其实际价值在于提高了机器人在复杂环境中理解和执行用户指令的能力，未来可能推动人机交互的进一步发展。
📄 摘要（原文）
Distilling vision-language features into 3D Gaussian Splatting yields a language map that can be queried with arbitrary text. In deployment, however, a small set of user-specified targets must be reliably located, which current distilled maps often miss, while open-vocabulary queryability for other words must remain intact. We propose a training-free, target-aware refinement of an already-distilled language map. Guided by a text-promptable segmenter, the visual embedding inside each detected target region is blended with the target text embedding, a convex combination whose coefficient sets the amount of injected prior, while non-target regions are left untouched. Injecting too much overwrites appearance cues and general queryability, so we seek, for each target, the smallest coefficient that still lets it win, and we obtain every coefficient in closed form, leaving no hyperparameters to tune. We further identify a failure mode of injection in language-goal localization. Text embeddings share a common component, and injecting them makes the standard cosine read-out query-agnostic, which a centering step in the read-out removes. Across three benchmarks, the refinement consistently improves open-vocabulary segmentation, roughly doubling the base mIoU on Replica, and localizes language goals more reliably than the base map. It also transfers as a plug-in to off-the-shelf field-based and object-level language maps and supports a real-world demonstration in which a legged robot navigates to natural-language goals. Project page and code: https://lab-of-ai-and-robotics.github.io/target-aware-langmap/