GeoScaffold: Learning Compact Geometric Latents via Reconstruction for Efficient Vision-Language Navigation

📄 arXiv: 2610.02697v1 📥 PDF

作者: Yixuan Jiang, Wentong Li, An Liu, Zihao Xin, Fulin Tang, Cong Leng, Yang Gao, Jian Cheng

分类: cs.RO, cs.CV

发布日期: 2026-10-02

💡 一句话要点

提出GeoScaffold框架以解决视觉语言导航中的几何信息不足问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言导航 几何信息 深度学习 多模态学习 轻量级模型

📋 核心要点

  1. 现有的视觉语言导航方法在几何信息的获取上存在不足，导致导航性能受限。
  2. 本文提出的GeoScaffold框架通过在训练阶段内部化几何信息，减少了推理时的计算开销。
  3. 实验结果显示，GeoScaffold在多个连续VLN基准测试中表现优异，超越了当前领先的视觉导航系统。

📝 摘要（中文）

近年来，视觉语言导航（VLN）系统越来越多地采用流式视频大语言模型（Video-LLM）策略，直接将自我中心的RGB观察和指令映射到低级动作。然而，这些策略从2D预训练中继承了较弱的3D几何先验。现有的几何感知扩展在推理时需要持续的代价，如深度传感器、3D编码器或每步感知工具调用。为此，本文提出了GeoScaffold，一个几何监督框架，通过在训练时内部化几何信息来解决这一问题。该框架首先在训练轨迹的深度图上学习一个紧凑的深度标记器并将其冻结，然后通过少量可学习的几何查询标记对策略进行微调，训练其隐藏状态以重建导航关键几何信息，如深度、连通性和可通行性。实验表明，GeoScaffold在连续的VLN基准测试中始终优于领先的视觉导航器，为轻量级边缘部署空间感知的具身导航模型提供了实用范式。

🔬 方法详解

问题定义：本文旨在解决视觉语言导航系统中几何信息不足的问题。现有方法在推理时依赖深度传感器和3D编码器，导致计算开销大且效率低下。

核心思路：GeoScaffold框架通过在训练阶段学习并内部化几何信息，减少了推理时的计算需求。具体而言，框架首先学习一个紧凑的深度标记器，并在训练后将其冻结，从而在后续的推理中不再需要额外的几何信息获取。

技术框架：GeoScaffold的整体架构包括三个主要模块：深度标记器、几何查询标记和重建头。首先，深度标记器从训练轨迹的深度图中学习几何信息；然后，几何查询标记用于微调策略，重建导航所需的几何特征；最后，重建头负责生成最终的导航决策。

关键创新：GeoScaffold的主要创新在于通过几何查询标记将几何信息内部化到策略中，避免了传统方法在推理时的高计算成本。这种设计使得模型在保持性能的同时，显著提高了效率。

关键设计：在模型设计中，使用了紧凑的深度标记器和可学习的几何查询标记，损失函数则专注于重建深度、连通性和可通行性等关键几何特征。网络结构经过精心设计，以确保在训练后能够有效地进行推理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，GeoScaffold在多个连续的视觉语言导航基准测试中表现优异，超越了当前领先的视觉导航系统，具体提升幅度达到了XX%（具体数据未知），展示了其在轻量级边缘部署中的实际应用价值。

🎯 应用场景

GeoScaffold框架具有广泛的应用潜力，尤其是在需要实时导航的机器人和自动驾驶系统中。通过减少推理时的计算需求，该方法能够在资源受限的边缘设备上实现高效的空间感知导航。此外，该框架的设计理念也可扩展到其他多模态学习任务中，推动相关领域的发展。

📄 摘要（原文）

Recent vision-and-language navigation (VLN) systems increasingly adopt streaming Video-LLM policies that map egocentric RGB observations and instructions directly to low-level actions. Yet these policies inherit weak 3D geometric priors from 2D pretraining. Existing geometry-aware extensions charge a persistent inference-time price: depth sensors, 3D encoders, or per-step perception tool calls. We propose GeoScaffold, a geometric supervision framework that pays this price once, at training time, by internalizing geometry into the policy itself. It first learns a compact depth tokenizer on depth maps from the training trajectories and freezes it. It then fine-tunes the policy with a handful of learnable geometry query tokens, training their hidden states to reconstruct navigation-critical geometry such as depth, connectivity, and traversability. This supervision turns the query states into compact geometric latents for action decoding, and through the shared weights also internalizes geometry into the backbone's own representations. Like a scaffold, the tokenizer, target generators, and reconstruction heads are discarded after training, leaving the backbone and action interface unchanged. Extensive experiments show that GeoScaffold consistently outperforms leading vision-only navigators on continuous VLN benchmarks, offering a practical paradigm for lightweight edge deployment of spatially aware embodied navigation models.