MM-Nav: Multi-View VLA Model for Robust Visual Navigation via Multi-Expert Learning

📄 arXiv: 2510.03142v1 📥 PDF

作者: Tianyu Xu, Jiawei Chen, Jiazhao Zhang, Wenyao Zhang, Zekun Qi, Minghan Li, Zhizheng Zhang, He Wang

分类: cs.RO, cs.CV

发布日期: 2025-10-03

备注: Project page: https://pku-epic.github.io/MM-Nav-Web/

💡 一句话要点

提出MM-Nav，利用多视角VLA模型和多专家学习实现鲁棒的视觉导航

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉导航 视觉-语言-动作模型 多专家学习 模仿学习 强化学习

📋 核心要点

  1. 现有视觉导航方法难以有效建模视觉信息，依赖大量数据和智能模型。
  2. 提出MM-Nav，利用多视角VLA模型和多专家学习，从合成数据中学习导航能力。
  3. 实验表明，MM-Nav在合成和真实环境中均表现出强大的泛化能力，甚至超越了RL教师。

📝 摘要（中文）

视觉导航策略通过模仿人类利用第一视角视觉观察进行导航，被广泛认为是极具前景的方向。然而，视觉观察的光学信息难以像激光雷达点云或深度图那样被显式建模，这需要更智能的模型和大规模数据。为此，我们提出利用视觉-语言-动作（VLA）模型的智能，以教师-学生的方式从合成专家数据中学习多样化的导航能力。具体来说，我们基于预训练的大型语言模型和视觉基础模型，将VLA模型MM-Nav实现为多视角VLA（具有360度观察）。对于大规模导航数据，我们从三个强化学习（RL）专家收集专家数据，这些专家在三个具有挑战性的定制环境中，利用特权深度信息进行训练，以获得不同的导航能力：到达、挤压和避障。我们迭代地使用从RL专家在线收集的数据来训练我们的VLA模型，其中训练比例基于各个能力的性能进行动态平衡。通过在合成环境中进行的大量实验，我们证明了我们的模型实现了强大的泛化能力。此外，我们发现我们的学生VLA模型优于RL教师，证明了整合多种能力的协同效应。大量的真实世界实验进一步证实了我们方法的有效性。

🔬 方法详解

问题定义：视觉导航任务旨在使智能体仅通过视觉输入自主导航。现有方法难以有效建模视觉信息，需要大量数据和复杂的模型设计。此外，不同导航场景需要不同的技能（例如，到达目标、避开障碍物），单一模型难以兼顾所有能力。

核心思路：利用预训练的视觉-语言-动作（VLA）模型的强大表征能力，并通过模仿学习的方式，从多个强化学习（RL）专家中学习不同的导航技能。通过动态平衡不同技能的学习比例，使模型能够更好地适应复杂环境。

技术框架：MM-Nav采用多视角VLA架构，使用360度全景视觉输入。整体流程包括：1) 使用三个RL专家（分别针对到达、挤压和避障任务）生成训练数据；2) 使用这些数据训练VLA模型；3) 在训练过程中，根据VLA模型在各个任务上的表现，动态调整不同任务数据的训练比例。

关键创新：1) 提出多视角VLA模型，能够有效利用全景视觉信息进行导航；2) 采用多专家学习策略，使模型能够学习到多种不同的导航技能；3) 提出动态训练比例调整方法，能够更好地平衡不同技能的学习。

关键设计：VLA模型基于预训练的大型语言模型和视觉基础模型构建。损失函数包括模仿学习损失和行为克隆损失。训练比例的动态调整基于模型在验证集上的表现，具体来说，表现较差的任务会分配更高的训练比例。专家数据由三个独立的强化学习智能体生成，分别针对到达、挤压和避障任务进行优化。

🖼️ 关键图片

fig_0

📊 实验亮点

在合成环境中，MM-Nav表现出强大的泛化能力，能够适应不同的场景和任务。更重要的是，MM-Nav在某些任务上甚至超越了训练它的RL教师，证明了多专家学习的有效性。在真实世界实验中，MM-Nav也表现出良好的导航性能，验证了其在实际应用中的潜力。

🎯 应用场景

该研究成果可应用于机器人导航、自动驾驶、虚拟现实等领域。例如，可以用于开发能够在复杂环境中自主导航的机器人，或者用于提高自动驾驶系统的鲁棒性和安全性。此外，该方法还可以应用于虚拟现实游戏中，提高用户的沉浸感和交互体验。

📄 摘要（原文）

Visual navigation policy is widely regarded as a promising direction, as it mimics humans by using egocentric visual observations for navigation. However, optical information of visual observations is difficult to be explicitly modeled like LiDAR point clouds or depth maps, which subsequently requires intelligent models and large-scale data. To this end, we propose to leverage the intelligence of the Vision-Language-Action (VLA) model to learn diverse navigation capabilities from synthetic expert data in a teacher-student manner. Specifically, we implement the VLA model, MM-Nav, as a multi-view VLA (with 360 observations) based on pretrained large language models and visual foundation models. For large-scale navigation data, we collect expert data from three reinforcement learning (RL) experts trained with privileged depth information in three challenging tailor-made environments for different navigation capabilities: reaching, squeezing, and avoiding. We iteratively train our VLA model using data collected online from RL experts, where the training ratio is dynamically balanced based on performance on individual capabilities. Through extensive experiments in synthetic environments, we demonstrate that our model achieves strong generalization capability. Moreover, we find that our student VLA model outperforms the RL teachers, demonstrating the synergistic effect of integrating multiple capabilities. Extensive real-world experiments further confirm the effectiveness of our method.