SoftNav: Injecting 3D Scene Tokens into VLMs for Embodied Navigation

📄 arXiv: 2607.14586v1 📥 PDF

作者: Yi Wu, Junjie An, Xiao Liu, Yiqun Zhou, Yuechen Wu, Xiaoqing Guan, Shuyang Yu, You Wang, Guang Li

分类: cs.RO

发布日期: 2026-07-16

备注: 8 pages, 6 figures. Accepted to IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) 2026

💡 一句话要点

提出SoftNav以解决3D场景信息与VLMs之间的表示差距问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 具身导航 视觉语言模型 3D场景理解 软令牌 信息传递 机器人技术 自动驾驶

📋 核心要点

  1. 现有方法通过文本传递3D场景信息，导致表示差距，影响导航性能。
  2. SoftNav通过将3D连续表示作为软令牌直接注入VLM的隐藏空间，提升了信息传递效率。
  3. 在HM3D-OVON上，SoftNav的成功率超越所有先前方法，并且在多个任务中实现零-shot迁移。

📝 摘要（中文）

在目标导向的具身导航中，代理需要在未知环境中定位指定目标，3D场景理解与导航推理必须协同工作。现有方法通过文本传递3D场景信息，存在表示差距。我们提出SoftNav，通过轻量级投影器将实体级3D连续表示注入VLM的隐藏空间，作为软令牌。实验表明，SoftNav在HM3D-OVON上实现74.2%/68.3%/66.7%的成功率，超越所有先前方法，并且该导航策略在GOAT-Bench和SG3D等任务中零-shot迁移，显示出良好的可转移性。

🔬 方法详解

问题定义：本论文旨在解决在具身导航任务中，3D场景信息与视觉语言模型（VLMs）之间的表示差距。现有方法通过文本传递3D信息，导致信息损失和性能下降。

核心思路：提出SoftNav，通过轻量级投影器将每个检测到的对象或边界的3D连续表示作为软令牌直接注入VLM的隐藏空间，从而提高信息传递的有效性。

技术框架：整体架构包括一个3D编码器和一个VLM，其中3D编码器和VLM在训练过程中保持冻结，仅需约1200个样本和1700万个可训练参数。

关键创新：SoftNav的主要创新在于直接将3D场景令牌注入VLM，弥补了表示差距，显著提升了导航性能。与传统方法相比，这种方法减少了信息损失，提高了可转移性。

关键设计：在设计中，采用了轻量级投影器进行3D表示的嵌入，确保了模型的高效性和可扩展性，同时保持了较低的训练成本。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SoftNav在HM3D-OVON上实现了74.2%/68.3%/66.7%的成功率，超越了所有先前方法。同时，该导航策略在GOAT-Bench和SG3D等任务中实现了67.2%和47.2%的成功率，显示出良好的零-shot迁移能力。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、自动驾驶和增强现实等。通过提升3D场景理解能力，SoftNav能够在复杂环境中实现更高效的目标定位，具有广泛的实际价值和未来影响。

📄 摘要（原文）

In goal-directed embodied navigation, where an agent must locate a specified target in an unseen environment, 3D scene understanding and navigation reasoning must work in concert. Current approaches transmit 3D scene information to vision-language models (VLMs) through text, suggesting a representation gap in our tested configurations; a controlled ablation confirms that direct embedding-level transfer significantly outperforms the evaluated text serialization formats. We introduce SoftNav, which injects entity-level 3D continuous representations -- one token per detected object or frontier -- into a VLM's hidden space as soft tokens through a lightweight projector. With the 3D encoder and VLM frozen, only ~1,200 samples and ~17M trainable parameters are needed. On HM3D-OVON, SoftNav achieves 74.2%/68.3%/66.7% SR across three splits, surpassing all prior methods in both SR and SPL; the same navigation policy transfers zero-shot to GOAT-Bench (67.2% SR), SG3D (47.2% s-SR), and real-world robot deployment without retraining or architectural modification. Injecting 3D scene tokens directly into VLMs bridges the representation gap, enabling transferable navigation with minimal training.