SuperNav: An Agentic Navigation System for Any Task in Any Scene
作者: Jinkai Zhang, Jingyi Xu, Yuanhong Yu, Jiarui Guo, Ruizhen Hu, Hujun Bao, Xiaowei Zhou, Sida Peng
分类: cs.RO, cs.CV
发布日期: 2026-10-08
备注: 20 pages, 7 figures. Project page: https://zju3dv.github.io/SuperNav/
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出SuperNav以解决服务机器人导航任务的通用性问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 服务机器人 导航系统 多模态大语言模型 任务通用性 环境适应性
📋 核心要点
- 现有的导航方法依赖于训练数据的覆盖，限制了其在新环境和请求中的泛化能力。
- SuperNav通过将多模态大语言模型与专门的代理工具结合，专注于请求理解和决策，而非直接执行导航。
- SuperNav在多项任务中表现优异，超越了四个基线模型，证明了其在不同环境中的有效性。
📝 摘要（中文）
通用服务机器人需要能够处理多样化人类请求的导航系统，尤其是在陌生环境中，结合任务通用性与场景通用性。现有方法通过微调多模态大语言模型（MLLM）来预测导航行为，但这种方法依赖于训练数据的覆盖范围，可能限制了对新请求和环境的泛化能力。本文提出SuperNav，利用预训练的MLLM与专门的代理工具结合，而无需对MLLM进行导航特定的微调。该系统通过导航技能、面向代理的工具以及任务进度和上下文管理来支持决策，统一的视觉点接口将决策与运动连接，使模型能够直接在图像中指定目的地并根据执行反馈修正决策。SuperNav在实例级、多对象和需求驱动任务上超越了四个基线模型，并在HM3D的类别级评估及真实四足机器人部署中展示了其在不同环境中的适用性。
🔬 方法详解
问题定义：本论文旨在解决通用服务机器人在陌生环境中执行多样化导航任务的能力不足，现有方法往往依赖于特定的训练数据，导致泛化能力差。
核心思路：论文的核心思路是让多模态大语言模型专注于请求的理解和决策，而将运动执行委托给专门的导航工具，从而保持其通用性。
技术框架：SuperNav的整体架构包括一个预训练的MLLM、导航技能模块、面向代理的工具以及任务进度和上下文管理系统。统一的视觉点接口使得决策与运动执行之间的连接更加紧密。
关键创新：SuperNav的创新在于不对MLLM进行导航特定的微调，而是通过代理工具实现导航决策的执行，这与现有方法的依赖于训练数据的微调方式形成了鲜明对比。
关键设计：在设计上，SuperNav采用了统一的视觉点接口，允许模型在图像中直接指定目的地，并根据执行反馈进行决策修正。此外，导航技能模块和任务管理系统的设计也为决策提供了支持。
🖼️ 关键图片
📊 实验亮点
SuperNav在实例级、多对象和需求驱动任务上超越了四个基线模型，显示出显著的性能提升。在HM3D的类别级评估中，SuperNav也表现出色，证明了其在不同环境中的适用性和有效性。
🎯 应用场景
SuperNav的研究成果具有广泛的应用潜力，尤其是在服务机器人、智能家居和自动化物流等领域。通过提升机器人在复杂环境中的导航能力，该系统能够更好地满足人类的多样化需求，推动智能机器人技术的进一步发展。
📄 摘要（原文）
General-purpose service robots need navigation systems that can handle diverse human requests in unfamiliar environments, combining task generality with scene generality. Some existing methods fine-tune multimodal large language models (MLLMs) to predict navigation actions, making their behavior dependent on the coverage of navigation training data and potentially limiting generalization to new requests and environments. Our key insight is to let the MLLM focus on interpreting requests, understanding scenes, and making decisions while preserving its general-purpose capabilities and delegating motion execution to navigation tools. To realize this idea, we introduce SuperNav, which equips a pretrained MLLM with a specialized agent harness without navigation-specific fine-tuning of the MLLM. Our harness supports these decisions with Navigation Skills, agent-oriented Tools for physical interaction, and task-progress and context management. A unified visual-point interface connects decision-making to motion by allowing the model to specify destinations directly in images and revise its decisions from execution feedback. Together, these components support sustained navigation across different task requirements and environments. SuperNav outperforms four evaluated baselines on instance-level, multi-object, and demand-driven tasks. Category-level evaluation on HM3D and deployment on a real quadruped robot further demonstrate its applicability across environments. Project Page: https://zju3dv.github.io/SuperNav/