ScaleNav: Scalable Internet Video Pretraining for Language-Conditioned Local Navigation
作者: Yihui Yang, Yuanhong Yu, Jiawei Wang, Zhongrui Yu, Jia Shi, Kun Zhan, Ruizhen Hu, Xiaowei Zhou, Yu Liu, Sida Peng
分类: cs.RO
发布日期: 2026-10-19
备注: 25 pages, 7 figures, 6 tables
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出ScaleNav以解决语言条件下的本地导航问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言条件导航 自我中心视频 机器人动作生成 目标导向学习 多阶段训练
📋 核心要点
- 现有的导航方法在多样化训练数据的获取上面临挑战，真实数据昂贵且模拟数据存在仿真与现实的差距。
- 论文提出ScaleNav，通过学习互联网自我中心视频中的目标导向视觉动态，支持机器人动作生成。
- ScaleNav在多个基准测试中表现优异，成功率分别达到86.5%和94.9%，并在真实四足机器人上验证了其泛化能力。
📝 摘要（中文）
本研究探讨了语言条件下的本地导航问题，机器人需根据文本指令导航至初始观察中可见的目标并停留在描述的位置。现有的端到端导航策略需要多样化的训练数据以实现跨场景的泛化，但真实机器人数据的收集成本高昂，而模拟数据则存在仿真与现实之间的差距。互联网自我中心视频提供了一种可扩展的真实世界导航经验来源。我们提出ScaleNav，一个统一的世界-动作框架，通过三阶段训练来实现目标导向的视觉动态学习，从而支持机器人动作生成。实验结果显示，ScaleNav在Short-Horizon OVON和HabitatGS-LN基准测试中分别取得86.5%和94.9%的成功率，超越了评估的基线方法。
🔬 方法详解
问题定义：本论文旨在解决语言条件下的本地导航问题，现有方法在训练数据的多样性和真实场景的适应性上存在不足，导致机器人在复杂环境中的导航能力受限。
核心思路：论文的核心思路是利用互联网自我中心视频学习目标导向的视觉动态，通过这种方式，机器人能够更好地理解和执行基于语言的导航指令。
技术框架：ScaleNav的整体架构包括三个主要阶段：首先在自我中心视频上进行指令条件的预训练，以学习观察如何随着相机接近目标而演变；其次使用带有动作标签的模拟数据进行动作对齐训练；最后进行联合微调，以优化所有可训练组件。
关键创新：ScaleNav的主要创新在于其统一的世界-动作框架，能够有效地将互联网视频中的动态信息转化为机器人可执行的动作，与传统方法相比，显著提升了导航的准确性和适应性。
关键设计：在设计中，使用了特定的损失函数来优化动作预测的准确性，网络结构则结合了卷积神经网络和循环神经网络，以处理视频数据和时间序列信息。
🖼️ 关键图片
📊 实验亮点
ScaleNav在Short-Horizon OVON基准测试中取得86.5%的成功率，在HabitatGS-LN基准测试中更是达到94.9%，显著超越了现有的基线方法。这些结果表明，ScaleNav在真实世界导航中的有效性和泛化能力。
🎯 应用场景
该研究的潜在应用领域包括自主机器人导航、智能家居系统和无人驾驶车辆等。通过提高机器人在复杂环境中的导航能力，ScaleNav能够在实际应用中实现更高的效率和安全性，未来可能对智能交通和服务机器人领域产生深远影响。
📄 摘要（原文）
We study language-conditioned local navigation, where a robot must navigate to a text-specified target visible in its initial observation and stop at the described location. End-to-end navigation policies require diverse training data to generalize across scenes, yet real-robot data is costly to collect and simulated data leaves a sim-to-real gap. Internet egocentric videos offer a scalable source of real-world navigation experience. Our key insight is to learn goal-directed visual dynamics from Internet egocentric videos, and use these dynamics to support robot action generation. To this end, we propose ScaleNav, a unified world-action framework with three-stage training. We first perform instruction-conditioned video pretraining on these videos to learn how observations evolve as the camera approaches instructed targets across diverse real-world scenes. Action alignment then uses action-labeled simulated data to train the model to predict executable action chunks. Joint fine-tuning subsequently optimizes all trainable components together for navigation. ScaleNav achieves success rates of 86.5% on a single-view adaptation of Short-Horizon OVON and 94.9% on our HabitatGS-LN benchmark, outperforming the evaluated baselines on both benchmarks. We further deploy and evaluate ScaleNav on a real quadruped robot, with results supporting the model's ability to generalize to real-world navigation. Code and videos are available at https://zju3dv.github.io/ScaleNav/