NavGen: Visual Generative Models as a Scalable Data Engine for Embodied 3D Navigation

📄 arXiv: 2609.30770v1 📥 PDF

作者: Xijie Huang, Yongyang Wan, Chengbin Dong, Zimo Ding, Mo Zhu, Yijin Wang, Zhiyang Liu, Fei Gao, Yuze Wu, Xin Zhou

分类: cs.RO, cs.AI

发布日期: 2026-09-25

备注: 8 pages,9 figures

💡 一句话要点

提出NavGen以解决3D导航数据不足问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉生成模型 具身导航 数据生成 长尾数据 无人机导航 多样性扩展 机器人学习

📋 核心要点

  1. 现有的3D导航数据源在模拟数据与现实数据之间存在权衡，导致数据收集的效率和质量受限。
  2. 提出NavGen，一个文本到视频的数据生成管道，能够生成多样的视觉语言导航情节，解决数据不足问题。
  3. 实验表明，基于NavGen生成的数据集训练的模型在多个导航任务中表现优异，成功率达到75%。

📝 摘要（中文）

通用机器人模型越来越依赖于大规模多样化的数据集。然而，在具身3D导航中，现有数据源面临根本性权衡：模拟数据可以大规模生成，但常常存在视觉的仿真与现实差距；而现实世界的飞行数据提供了真实的观察，但收集成本高。本文研究了另一种方向：使用高保真视觉生成模型作为具身3D导航的可扩展数据引擎。我们介绍了NavGen，一个文本到视频的数据生成管道，能够在室内和室外场景中生成多样的视觉语言导航（VLN）情节。我们还提出了一种风格多样化的方法，以扩展难以收集的长尾数据。最终的数据集包含约40万个导航情节。我们通过多项指标评估了该数据集与现有无人机导航数据集的表现，发现基于我们数据训练的模型通常随着规模的增加而表现更好，超越了基于现有数据集训练的模型。为了验证其在现实世界中的可转移性，我们将训练好的模型部署在世界行动模型范式中进行实际飞行实验，最终模型在不同导航任务和环境中达到了75%的成功率。

🔬 方法详解

问题定义：本文旨在解决具身3D导航中数据不足的问题，现有方法在模拟数据与真实数据之间存在显著的视觉差距，导致模型训练效果不佳。

核心思路：通过引入高保真的视觉生成模型，NavGen能够生成多样化的导航情节，弥补现有数据集的不足，尤其是长尾数据的收集困难。

技术框架：NavGen的整体架构包括文本输入、视频生成和风格多样化三个主要模块。文本输入模块将导航指令转化为可视化内容，视频生成模块负责生成相应的导航情节，风格多样化模块则扩展数据集的多样性。

关键创新：NavGen的核心创新在于将视觉生成模型应用于导航数据的生成，尤其是通过风格多样化方法有效扩展了难以收集的长尾数据，显著提升了数据集的多样性和规模。

关键设计：在模型设计中，采用了特定的损失函数以优化生成视频的质量，并通过多样化策略调整生成内容的风格，确保生成数据的丰富性和实用性。具体的网络结构和参数设置在实验中经过反复调优，以达到最佳效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，基于NavGen生成的数据集训练的模型在多个导航任务中表现优异，成功率达到75%，显著高于基于现有无人机导航数据集训练的模型，证明了NavGen在数据生成和模型训练中的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、无人机飞行控制和智能家居等。通过生成多样化的导航数据，NavGen能够帮助提升机器人在复杂环境中的自主导航能力，降低数据收集成本，推动智能系统的实际应用和发展。

📄 摘要（原文）

General-purpose robot models increasingly rely on large and diverse datasets. For embodied 3D navigation, however, existing data sources face a fundamental trade-off: simulated data can be generated at scale but often suffer from the visual sim-to-real gap, whereas real-world flight data provide realistic observations but are costly to collect. This paper studies another direction: the use of high-fidelity visual generative models as scalable data engines for embodied 3D navigation. We introduce NavGen, a text-to-video data generation pipeline that produces diverse vision-language navigation (VLN) episodes across indoor and outdoor scenes. We also propose a style-diversification method that scales up long-tail data that are difficult and costly to collect. The resulting dataset contains approximately 400K navigation episodes. We evaluate our dataset against existing UAV navigation datasets across multiple metrics, and find that the model trained on our data generally improves with scale, outperforming those trained on existing datasets. To validate real-world transferability, we deploy the trained model in world-action-model paradigm to real-world flying experiments. The final model achieves a 75\% success rate across different navigation tasks and environments.