Learning Language-Conditioned Traversability Representations for Adaptive Visual Navigation
作者: Senda Chen, Changxu Cheng, Fangdi Li, Tao Wang, Wuyue Zhao
分类: cs.RO
发布日期: 2026-10-08
💡 一句话要点
提出LaTraNav框架以解决视觉导航中的可通行性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉导航 可通行性表示 语言条件 自适应规划 机器人技术 异步架构 深度学习
📋 核心要点
- 现有方法依赖手工规则和显式分割掩码，难以适应不同的机器人能力和用户偏好。
- LaTraNav框架通过学习语言条件的可通行性表示，结合慢速视觉-语言模型与快速流匹配规划器，实现自适应导航。
- 实验结果表明，慢速模型在语言引导的可通行性分割和目标定位上表现出色，快速规划器的路径更新率提高了6.05倍。
📝 摘要（中文）
可通行性对于视觉导航至关重要，但其受机器人能力和用户偏好的影响较大。传统方法通常依赖于显式的成本图或分割掩码，需手工制定规则并进行精细调优。此外，视角依赖的分割掩码使得在感知延迟下的异步规划变得复杂。本文提出LaTraNav框架，通过学习语言条件的可通行性表示，实现自适应视觉导航。该框架的异步架构结合了慢速视觉-语言模型和快速流匹配规划器，能够有效提高路径更新率和规划性能。
🔬 方法详解
问题定义：本文旨在解决视觉导航中的可通行性表示问题，现有方法依赖于手工规则和显式分割掩码，导致适应性差和规划效率低下。
核心思路：提出LaTraNav框架，通过学习语言条件的可通行性表示，结合慢速视觉-语言模型与快速流匹配规划器，以实现更高效的自适应导航。
技术框架：框架包括两个主要模块：慢速视觉-语言模型用于生成可通行性和导航目标的潜在表示，快速流匹配规划器则基于这些表示进行路径规划。
关键创新：最重要的创新在于引入语言条件的可通行性表示，替代传统的显式分割掩码，从而提升了规划性能和适应性。
关键设计：采用模拟数据生成管道，结合可控轨迹生成观察数据，配合语言指令、可通行性图和目标位置，使用光写实图像翻译增强视觉真实感。
🖼️ 关键图片
📊 实验亮点
实验结果显示，慢速视觉-语言模型在语言引导的可通行性分割和目标定位上表现优异，快速规划器的路径更新率提升了6.05倍，显著优于传统方法，展示了LaTraNav框架的有效性。
🎯 应用场景
该研究具有广泛的应用潜力，特别是在自主机器人、智能导航系统和人机交互等领域。通过提高视觉导航的自适应能力，能够为机器人在复杂环境中的自主决策提供支持，未来可能推动智能交通和智能家居等行业的发展。
📄 摘要（原文）
Traversability is essential for visual navigation but varies with robot capabilities and user preferences. Conventional pipelines often rely on explicit costmaps or segmentation masks with predefined criteria, requiring hand-crafted rules and careful tuning. Moreover, viewpoint-dependent segmentation masks complicate asynchronous planning under perception latency. We present LaTraNav, a framework that learns language-conditioned traversability representations for adaptive visual navigation. Its asynchronous architecture combines a slow vision-language model that produces latent representations of traversability and navigation goals, with a fast flow-matching planner conditioned on these representations. To train the system, we develop a simulation-based data generation pipeline with controllable trajectories, producing observations paired with language instructions, traversability maps, goal locations, and diverse trajectories. Photorealistic image translation further enhances visual realism. Evaluations on datasets from multiple sources demonstrate effective language-guided traversability segmentation and goal localization by the slow VLM, alongside adaptive pixel-space path planning by the fast planner. Latent conditioning improves planning performance over explicit segmentation masks, while asynchronous scheduling increases the path-update rate by $6.05\times$ at the same semantic-update rate.