OmniVLA: An Omni-Modal Vision-Language-Action Model for Robot Navigation

📄 arXiv: 2509.19480v1 📥 PDF

作者: Noriaki Hirose, Catherine Glossop, Dhruv Shah, Sergey Levine

分类: cs.RO, cs.LG

发布日期: 2025-09-23

备注: 9 pages, 7 figures, 6 tables

💡 一句话要点

OmniVLA：用于机器人导航的通用模态视觉-语言-动作模型

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人导航 多模态融合 视觉-语言-动作模型 通用模态 深度学习 强化学习 机器人基础模型

📋 核心要点

  1. 现有机器人导航策略通常仅在单一模态上训练，限制了其在真实场景中的适应性，而真实场景中多种目标形式是自然且互补的。
  2. OmniVLA利用高容量的视觉-语言-动作骨干网络，通过随机模态融合策略，结合2D姿势、图像和自然语言等多种模态进行训练。
  3. OmniVLA在未见环境中表现出强大的泛化能力，对模态稀疏性具有鲁棒性，并能理解新的自然语言指令，优于单模态基线。

📝 摘要（中文）

本文提出了一种用于机器人基础模型的训练框架，该框架支持基于视觉的导航的通用模态目标条件。该方法利用高容量的视觉-语言-动作（VLA）骨干网络，并通过随机模态融合策略，使用三种主要目标模态（2D姿势、自我中心图像和自然语言）及其组合进行训练。这种设计不仅扩展了可用数据集的范围，而且鼓励策略发展更丰富的几何、语义和视觉表示。由此产生的模型OmniVLA，实现了对未见环境的强大泛化能力，对稀疏模态的鲁棒性，以及遵循新的自然语言指令的能力。实验表明，OmniVLA在各种模态上优于专业基线，并为微调到新的模态和任务提供了灵活的基础。OmniVLA为广泛通用和灵活的导航策略以及构建通用模态机器人基础模型的可扩展路径提供了一个方向。

🔬 方法详解

问题定义：现有机器人导航策略大多基于单一模态进行训练，例如仅依赖图像或语言指令。这种局限性使得机器人在面对真实世界复杂场景时难以灵活适应，因为真实场景往往需要结合多种模态的信息，例如同时参考视觉信息和语言描述来确定目标位置。因此，如何构建一个能够理解和融合多种模态信息的通用导航模型是一个关键问题。

核心思路：本文的核心思路是训练一个能够接受多种模态目标条件（如2D姿势、自我中心图像和自然语言）的视觉-语言-动作（VLA）模型。通过随机模态融合策略，模型可以在训练过程中学习不同模态之间的关联性，从而提高其泛化能力和对模态缺失的鲁棒性。这种设计使得模型能够利用各种可用的数据集，并鼓励其学习更丰富的几何、语义和视觉表示。

技术框架：OmniVLA的整体框架包含一个高容量的VLA骨干网络。训练过程包括以下几个关键步骤：首先，收集包含多种模态目标条件的数据集；然后，使用随机模态融合策略，将不同模态的目标信息输入到VLA骨干网络中；最后，通过优化损失函数，使得模型能够根据输入的目标条件生成相应的动作指令。该框架支持多种模态的组合，例如同时输入图像和语言指令。

关键创新：OmniVLA的关键创新在于其通用模态融合的训练框架。与以往专注于单一模态的导航模型不同，OmniVLA能够同时处理多种模态的目标条件，并学习它们之间的关联性。这种设计使得模型能够更好地适应真实世界的复杂场景，并提高其泛化能力和鲁棒性。此外，随机模态融合策略也是一个重要的创新点，它能够有效地利用各种可用的数据集，并鼓励模型学习更丰富的表示。

关键设计：OmniVLA的关键设计包括以下几个方面：首先，VLA骨干网络需要具有足够高的容量，以便能够处理多种模态的信息；其次，随机模态融合策略需要仔细设计，以确保模型能够有效地学习不同模态之间的关联性；第三，损失函数需要能够反映模型在不同模态下的导航性能，并鼓励模型学习更准确的动作指令。具体的网络结构和参数设置在论文中有详细描述，但摘要中未提供具体细节。

🖼️ 关键图片

img_0

📊 实验亮点

OmniVLA在多个导航任务上取得了显著的性能提升。实验结果表明，OmniVLA在未见环境中表现出强大的泛化能力，并且对模态稀疏性具有鲁棒性。例如，即使只提供图像或语言指令，OmniVLA仍然能够准确地导航到目标位置。此外，OmniVLA在遵循新的自然语言指令方面也表现出色，能够理解复杂的指令并生成相应的动作。

🎯 应用场景

OmniVLA具有广泛的应用前景，可应用于家庭服务机器人、自动驾驶、仓储物流等领域。该模型能够理解多种形式的目标指令，例如用户可以通过语音或图像指定目标位置，机器人可以根据这些指令自主导航。此外，OmniVLA还可以作为机器人基础模型，通过微调适应新的任务和环境，降低机器人开发的成本和周期。未来，该研究有望推动机器人技术的普及和应用。

📄 摘要（原文）

Humans can flexibly interpret and compose different goal specifications, such as language instructions, spatial coordinates, or visual references, when navigating to a destination. In contrast, most existing robotic navigation policies are trained on a single modality, limiting their adaptability to real-world scenarios where different forms of goal specification are natural and complementary. In this work, we present a training framework for robotic foundation models that enables omni-modal goal conditioning for vision-based navigation. Our approach leverages a high-capacity vision-language-action (VLA) backbone and trains with three primary goal modalities: 2D poses, egocentric images, and natural language, as well as their combinations, through a randomized modality fusion strategy. This design not only expands the pool of usable datasets but also encourages the policy to develop richer geometric, semantic, and visual representations. The resulting model, OmniVLA, achieves strong generalization to unseen environments, robustness to scarce modalities, and the ability to follow novel natural language instructions. We demonstrate that OmniVLA outperforms specialist baselines across modalities and offers a flexible foundation for fine-tuning to new modalities and tasks. We believe OmniVLA provides a step toward broadly generalizable and flexible navigation policies, and a scalable path for building omni-modal robotic foundation models. We present videos showcasing OmniVLA performance and will release its checkpoints and training code on our project page.