IROS: A Dual-Process Architecture for Real-Time VLM-Based Indoor Navigation
作者: Joonhee Lee, Hyunseung Shin, Jeonggil Ko
分类: cs.RO, eess.SY
发布日期: 2026-01-29
💡 一句话要点
提出IROS双过程架构，用于基于VLM的实时室内导航
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 室内导航 视觉语言模型 双过程理论 实时系统 机器人
📋 核心要点
- 现有室内导航方法难以兼顾快速响应和语义理解，几何方法依赖地图，VLA模型缺乏预测能力，VLM模型计算开销大。
- IROS框架受双过程理论启发，分离快速反射性决策和慢速审议性推理，仅在必要时调用VLM，实现高效导航。
- 实验结果表明，IROS在五个真实建筑中，相比连续VLM导航，决策准确率更高，延迟降低了66%。
📝 摘要（中文）
室内移动机器人导航需要快速响应和强大的语义理解，但现有方法难以兼顾两者。传统的SLAM等几何方法提供可靠的定位，但依赖详细地图，无法理解人类指示（如标志、房间号）。视觉-语言-动作(VLA)模型引入了语义 grounding，但仍然是严格的反应式，仅基于可见帧进行决策，无法预测未见过的交叉路口或推理远处文本提示。视觉-语言模型(VLM)提供更丰富的上下文推理，但计算延迟高，不适合嵌入式平台的实时操作。本文提出了IROS，一个实时导航框架，结合了VLM级别的上下文推理和轻量级感知模块的效率，运行在低成本的设备上。受双过程理论启发，IROS将快速的反射性决策（系统一）与慢速的审议性推理（系统二）分离，仅在必要时调用VLM。此外，通过用空间和文本提示增强紧凑的VLM，IROS以最小的延迟提供鲁棒的、类人的导航。在五个真实世界的建筑物中，与连续的基于VLM的导航相比，IROS提高了决策准确性，并将延迟降低了66%。
🔬 方法详解
问题定义：论文旨在解决室内移动机器人导航中，现有方法无法同时满足实时性和语义理解的问题。传统的SLAM方法依赖于预先构建的地图，无法理解人类的语义指令，例如房间号和指示牌。而直接使用视觉-语言模型（VLM）进行导航虽然可以理解语义，但计算量巨大，难以在嵌入式平台上实现实时性。因此，如何在计算资源有限的条件下，实现快速且具有语义理解能力的室内导航是本文要解决的核心问题。
核心思路：论文的核心思路是借鉴心理学中的双过程理论，将导航过程分解为快速的反射性决策（System One）和慢速的审议性推理（System Two）。System One负责快速处理视觉信息，进行初步的导航决策，而System Two则在需要更复杂的语义理解时，调用VLM进行推理。通过这种方式，可以避免频繁调用计算量大的VLM，从而提高导航的实时性。
技术框架：IROS框架主要包含两个系统：System One和System Two。System One是一个轻量级的感知模块，负责处理来自摄像头的数据，例如目标检测、语义分割等。System One基于这些信息进行快速的导航决策，例如避障、跟随路线等。当System One无法做出决策时，例如遇到复杂的语义指令或者需要进行长距离推理时，就会调用System Two。System Two是一个基于VLM的推理模块，负责理解复杂的语义信息，并生成导航指令。System One和System Two协同工作，共同完成导航任务。
关键创新：IROS的关键创新在于将双过程理论应用于机器人导航，并设计了一个能够高效利用VLM的导航框架。通过分离快速的反射性决策和慢速的审议性推理，IROS能够在保证导航精度的同时，显著提高导航的实时性。此外，IROS还通过空间和文本提示增强了VLM，使其能够更好地理解室内环境。
关键设计：论文中关于System One的具体网络结构和损失函数等细节未知。System Two的关键设计在于如何选择合适的VLM模型，以及如何将空间和文本提示融入到VLM的输入中。论文中提到使用了紧凑的VLM，但没有给出具体的模型名称。关于空间和文本提示的具体融合方式也未详细描述，这部分可能是后续研究的重点。
🖼️ 关键图片
📊 实验亮点
实验结果表明，IROS在五个真实世界的建筑物中，与连续的基于VLM的导航相比，决策准确性得到了提高，并且延迟降低了66%。这一结果验证了IROS框架的有效性，表明其能够在保证导航精度的同时，显著提高导航的实时性。具体的决策准确率提升幅度未知。
🎯 应用场景
IROS框架可应用于各种室内移动机器人，如服务机器人、清洁机器人、巡检机器人等。该研究的实际价值在于降低了机器人导航的计算成本，使其能够在资源受限的嵌入式平台上运行，从而扩大了机器人的应用范围。未来，IROS有望应用于更复杂的室内环境，并与其他技术（如增强现实）相结合，提供更智能、更人性化的导航服务。
📄 摘要（原文）
Indoor mobile robot navigation requires fast responsiveness and robust semantic understanding, yet existing methods struggle to provide both. Classical geometric approaches such as SLAM offer reliable localization but depend on detailed maps and cannot interpret human-targeted cues (e.g., signs, room numbers) essential for indoor reasoning. Vision-Language-Action (VLA) models introduce semantic grounding but remain strictly reactive, basing decisions only on visible frames and failing to anticipate unseen intersections or reason about distant textual cues. Vision-Language Models (VLMs) provide richer contextual inference but suffer from high computational latency, making them unsuitable for real-time operation on embedded platforms. In this work, we present IROS, a real-time navigation framework that combines VLM-level contextual reasoning with the efficiency of lightweight perceptual modules on low-cost, on-device hardware. Inspired by Dual Process Theory, IROS separates fast reflexive decisions (System One) from slow deliberative reasoning (System Two), invoking the VLM only when necessary. Furthermore, by augmenting compact VLMs with spatial and textual cues, IROS delivers robust, human-like navigation with minimal latency. Across five real-world buildings, IROS improves decision accuracy and reduces latency by 66% compared to continuous VLM-based navigation.