See What I Need, Dream What I Want: A Navigation Foundation Model on a Self-Constructed Representation Space

📄 arXiv: 2610.31762v1 📥 PDF

作者: Jiawei Chen, Yinxi Wang, Zihan Yang, Meijun Gao, Yaowei Liu, Shuming Zhang, Zecheng Li, Xiangju Mi, Yuxuan Liu, Runzhong Huang, Tianlin Li, Xun Zhang, Zhengyang Wang, Xu Miao, Tong Yang

分类: cs.RO, cs.CV

发布日期: 2026-10-22

备注: 28 pages. Project page: https://wang-yinxi.github.io/representnav/

💡 一句话要点

提出RepresentNav以解决导航策略视觉表示设计问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 导航策略 视觉表示 自构建模型 深度学习 机器人技术 多模态学习 潜在世界模型

📋 核心要点

  1. 现有的导航策略在视觉表示设计上依赖于预训练目标，缺乏针对导航需求的自适应优化。
  2. 本文提出了RepresentNav，通过自构建的表示空间和Representation Residuals，使策略能够自主学习所需的视觉信息。
  3. 实验结果表明，RepresentNav在多个基准测试中超越了现有最优方法，尤其在复杂环境中表现优异。

📝 摘要（中文）

现有的导航策略往往依赖于视觉基础模型的预训练目标来设计表示，而缺乏针对特定导航需求的优化。本文提出了RepresentNav，一个基于自构建表示空间的导航基础模型。该模型通过Representation Residuals构建一个紧凑的三层变换器，能够关注多个互补视觉基础模型的特征，从而使策略能够学习到导航所需的视觉信息。此外，模型在每次行动前通过潜在的思维链预测场景的表示，形成了一种紧凑的潜在世界模型。实验结果显示，RepresentNav在多个基准测试中设立了新的性能标杆，并在真实机器人环境中表现出色。

🔬 方法详解

问题定义：本文旨在解决导航策略在视觉表示设计上的不足，现有方法通常依赖于预训练模型的目标，缺乏针对具体导航任务的优化。

核心思路：提出RepresentNav，通过自构建的表示空间，使导航策略能够根据自身目标学习所需的视觉信息，提升导航性能。

技术框架：整体架构包括Representation Residuals模块，该模块是一个三层变换器，能够处理多个视觉基础模型的特征，并通过潜在思维链预测未来场景表示。

关键创新：最重要的创新在于自构建的表示空间，策略能够在此空间中学习并预测未来场景的表示，形成紧凑的潜在世界模型，与传统方法相比具有更高的灵活性和适应性。

关键设计：模型采用了下一表示预测损失和目标正则化，确保潜在表示的准确性和一致性，同时在特征层的权重分配上进行了不均匀学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个基准测试中，RepresentNav在VLNVerse上取得了83.80%的成功率，比之前的最佳结果提高了20.05个百分点；在EVT-Bench的分心跟踪任务中，成功率达到了85.5%，提升幅度为10.1%。这些结果表明该模型在复杂环境中的显著优势。

🎯 应用场景

该研究的潜在应用领域包括自主导航机器人、智能家居系统以及增强现实等场景。通过优化视觉表示，RepresentNav能够在复杂环境中实现更高效的导航，提升机器人在动态场景中的适应能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

What visual representation should a navigation policy act on? Navigation policies built on vision foundation models largely leave representation design to the encoders' pretraining objectives. We present RepresentNav, a navigation foundation model built on a self-constructed representation space: a visual representation constructed by the policy's own objectives from vision foundation models. RepresentNav builds this space with Representation Residuals, a compact three-layer transformer that attends over features spanning the full depth of multiple complementary vision foundation models, so that the policy learns to see what it needs for navigation. In the same space it dreams what it wants: before every action a latent chain-of-thought predicts the representation of the scene a moment ahead. The dream is trained end-to-end with the policy as a joint-embedding predictive architecture (JEPA), with a next-representation prediction loss and a regularizer on its targets. RepresentNav sets a new state of the art on VLNVerse, VLN-CE R2R, EVT-Bench, and two point-goal benchmarks, and its gains carry over to a physical robot amid clutter and moving people. On VLNVerse fine-grained, RepresentNav achieves 83.80% success, outperforming the previous state of the art by 20.05 percentage points, and on EVT-Bench distracted tracking it reaches 85.5% with a single camera (+10.1). With the same encoders, the self-constructed space clearly outperforms concatenating their outputs and learns to weight their layers unevenly, and a dream in it cuts collisions by a quarter. A single dreamed latent decodes into the depth, semantics, and 3D occupancy of the scene a moment ahead, more accurately than pretrained encoders applied to the real future frame, although occupancy is never supervised, and the rollout tracks the robot's own motion over the next second: the dream emerges as a compact latent world model.