GemNav: Discrete-Token Visual Robot Navigation using a Multimodal Large Language Model
作者: Peter Bohm, Saimunur Rahman, Abdelwahed Khamis, Sagun Man Singh Shrestha, Chris McCool, Peyman Moghadam
分类: cs.RO, cs.AI
发布日期: 2026-07-08
💡 一句话要点
提出GemNav以解决视觉机器人导航中的数据效率问题
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉导航 多模态学习 低秩适应 大型语言模型 机器人技术 数据效率
📋 核心要点
- 现有的视觉导航方法依赖于复杂的视觉编码器和大量的数据训练，导致数据效率低下。
- GemNav通过对冻结的多模态大型语言模型进行低秩适应，简化了导航策略的设计，避免了对视觉编码器的依赖。
- 在多个真实环境中的实验结果显示，GemNav在较小的数据集上实现了优异的导航性能，展示了其数据效率的优势。
📝 摘要（中文）
基于大型预训练模型的视觉导航策略通常依赖专用的视觉编码器和动作头，并需在大量跨实体数据集上进行训练。本文提出GemNav，一种视觉机器人导航策略，通过对冻结的多模态大型语言模型（MLLM）进行低秩适应（LoRA），实现短至中距离的航点导航，而无需辅助视觉编码器和连续回归头。航点和分类导航信号共享由语言模型头生成的单一离散标记词汇，软解码的辅助损失恢复了纯交叉熵训练所丢弃的度量结构。在一个8.7小时的开放语料库上，该策略在四个物理上不同的未见环境中实现零次转移，并在20次真实世界试验中停在距离目标0.25-0.42米的范围内。这些结果表明，冻结的MLLM的离散标记适应可以为基础模型的机器人导航提供一种数据高效、可部署的替代方案。
🔬 方法详解
问题定义：现有的视觉导航策略通常需要专用的视觉编码器和大量的训练数据，这导致了数据效率低下和模型复杂性增加。
核心思路：GemNav通过对冻结的多模态大型语言模型进行低秩适应，利用语言模型的能力进行导航，而不依赖于传统的视觉编码器和连续回归头。
技术框架：GemNav的整体架构包括一个冻结的多模态大型语言模型，航点和分类导航信号通过单一的离散标记词汇进行处理，且引入了软解码的辅助损失来恢复度量结构。
关键创新：GemNav的主要创新在于使用冻结的MLLM进行离散标记适应，显著减少了对数据的需求，并提高了模型的部署效率。与传统方法相比，GemNav在数据使用上更为高效。
关键设计：在设计中，GemNav采用了低秩适应（LoRA）技术，优化了语言模型的参数设置，并通过软解码损失函数来增强模型的导航能力，确保在较小数据集上的有效性。
🖼️ 关键图片
📊 实验亮点
GemNav在一个8.7小时的开放语料库上进行训练，成功实现了在四个不同的未见环境中的零次转移，且在20次真实世界试验中，机器人停在目标附近的距离为0.25-0.42米，展示了其优越的导航性能和数据效率。
🎯 应用场景
GemNav的研究成果具有广泛的应用潜力，尤其在自动驾驶、无人机导航和服务机器人等领域。其数据高效的特性使得在资源受限的环境中也能实现高效的导航，未来可能推动更多智能机器人在复杂环境中的应用。
📄 摘要（原文）
Visual navigation policies built on large pretrained models have so far followed a common recipe: a dedicated visual encoder, a bespoke action head, and training on thousands of hours of cross-embodiment datasets. We ask whether this recipe is necessary. In this paper, we introduce GemNav, a visual robot navigation policy that adapts a frozen Multimodal Large Language Model (MLLM) for short-to-medium horizon waypoint navigation using Low-Rank Adaptation (LoRA) on the language tower alone, with no auxiliary visual encoder and no continuous regression head. Waypoints and categorical navigation signals share a single discrete token vocabulary generated by the language-model head, and a soft-decoded auxiliary loss recovers the metric structure that pure cross-entropy training discards. On a single 8.7-hour open corpus, roughly three orders of magnitude smaller than competing training sets, the policy transfers zero-shot to four physically distinct unseen environments and stops within 0.25-0.42m of the goal across 20 real-world trials covering an open carpark, an obstacle carpark, a long outdoor chemical yard, and an indoor warehouse. Conditioning on short image histories improves offline metrics but yields no robot benefit, pointing to a ceiling on what temporal context adds once pretrained vision features are in place. These results indicate that discrete-token adaptation of frozen MLLMs can provide a data-efficient, deployable alternative for foundation model robot navigation.