PanoNav: Mapless Zero-Shot Object Navigation with Panoramic Scene Parsing and Dynamic Memory

📄 arXiv: 2511.06840v1 📥 PDF

作者: Qunchao Jin, Yilin Wu, Changhao Chen

分类: cs.CV, cs.RO

发布日期: 2025-11-10

备注: Accepted as a poster in AAAI 2026

💡 一句话要点

PanoNav：基于全景场景解析与动态记忆的无地图零样本物体导航

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 零样本导航 全景场景解析 动态记忆 无地图导航 多模态大语言模型

📋 核心要点

  1. 零样本物体导航任务在未知环境中面临挑战，现有方法依赖深度信息或预构建地图，限制了多模态大语言模型的空间推理能力。
  2. PanoNav通过全景场景解析模块增强MLLM对全景RGB图像的空间理解，并利用动态记忆队列引导决策，避免局部死锁。
  3. 实验结果表明，PanoNav在公共导航基准测试中，成功率（SR）和SPL指标均显著优于现有代表性方法。

📝 摘要（中文）

本文提出PanoNav，一个全RGB、无地图的零样本物体导航（ZSON）框架，旨在解决家庭机器人领域中，在未见过的环境中进行物体导航的挑战。现有方法依赖深度传感器或预构建地图，限制了多模态大语言模型（MLLM）的空间推理能力。PanoNav集成了全景场景解析模块，从全景RGB输入中释放MLLM的空间解析潜力，并采用由动态有界记忆队列增强的记忆引导决策机制，以整合探索历史并避免局部死锁。在公共导航基准上的实验表明，PanoNav在SR和SPL指标上显著优于代表性基线。

🔬 方法详解

问题定义：零样本物体导航（ZSON）旨在让机器人在未知的环境中，仅通过视觉信息找到目标物体。现有方法通常依赖深度传感器或预构建的地图，这限制了机器人在真实家庭环境中的应用，并且无法充分利用多模态大语言模型（MLLM）的潜力。此外，一些无地图方法由于缺乏历史信息，容易陷入局部死锁。

核心思路：PanoNav的核心思路是利用全景RGB图像作为输入，通过全景场景解析模块增强MLLM对环境的理解，并引入动态记忆机制来避免局部死锁。全景图像提供了更广阔的视野，有助于空间推理；场景解析模块提取关键语义信息；动态记忆队列则记录了探索历史，帮助机器人做出更明智的决策。

技术框架：PanoNav框架主要包含两个核心模块：全景场景解析模块和记忆引导决策模块。首先，全景场景解析模块接收全景RGB图像，并利用预训练模型提取场景特征和语义信息。然后，这些信息被输入到MLLM中，用于生成导航指令。同时，动态有界记忆队列记录了机器人的探索历史，包括之前的观测和行动。记忆引导决策模块利用这些历史信息，结合当前的场景理解，生成最终的导航决策。

关键创新：PanoNav的关键创新在于：1) 提出了一种基于全景RGB图像的无地图导航方法，摆脱了对深度信息和预构建地图的依赖；2) 集成了全景场景解析模块，有效提升了MLLM对环境的理解能力；3) 引入了动态有界记忆队列，解决了无地图方法容易陷入局部死锁的问题。

关键设计：动态有界记忆队列的设计是关键。队列的长度需要根据环境的复杂度和机器人的探索能力进行调整。此外，记忆的更新策略也很重要，需要平衡新信息的获取和旧信息的保留。损失函数的设计可能涉及到模仿学习或强化学习，以优化导航策略。具体的网络结构和参数设置在论文中应该有详细描述（未知）。

📊 实验亮点

PanoNav在公共导航基准测试中取得了显著的性能提升。具体而言，在成功率（SR）和SPL指标上，PanoNav均优于现有的代表性基线方法。这些结果表明，PanoNav提出的全景场景解析和动态记忆机制能够有效提升机器人的导航能力，尤其是在复杂和未知的环境中。具体的性能数据和提升幅度需要在论文中查找（未知）。

🎯 应用场景

PanoNav具有广泛的应用前景，可应用于家庭服务机器人、仓储物流机器人、以及其他需要在未知环境中进行导航的场景。该研究有助于提升机器人在复杂环境中的自主导航能力，降低对环境先验知识的依赖，从而提高机器人的实用性和适应性。未来，该技术有望应用于更广泛的机器人应用领域，例如灾难救援、环境监测等。

📄 摘要（原文）

Zero-shot object navigation (ZSON) in unseen environments remains a challenging problem for household robots, requiring strong perceptual understanding and decision-making capabilities. While recent methods leverage metric maps and Large Language Models (LLMs), they often depend on depth sensors or prebuilt maps, limiting the spatial reasoning ability of Multimodal Large Language Models (MLLMs). Mapless ZSON approaches have emerged to address this, but they typically make short-sighted decisions, leading to local deadlocks due to a lack of historical context. We propose PanoNav, a fully RGB-only, mapless ZSON framework that integrates a Panoramic Scene Parsing module to unlock the spatial parsing potential of MLLMs from panoramic RGB inputs, and a Memory-guided Decision-Making mechanism enhanced by a Dynamic Bounded Memory Queue to incorporate exploration history and avoid local deadlocks. Experiments on the public navigation benchmark show that PanoNav significantly outperforms representative baselines in both SR and SPL metrics.