Beyond Waypoints: A Trajectory-Centric Waypointing Paradigm for Vision-Language Navigation
作者: Haoxiang Shi, Xiang Deng, Haoyu Zhang, Qiaohui Chu, Yaowei Wang, Liqiang Nie
分类: cs.RO, cs.AI, cs.CV
发布日期: 2026-06-05
💡 一句话要点
提出轨迹中心的航点范式以解决视觉语言导航问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言导航 轨迹预测 航点规划 深度学习 智能机器人 环境感知
📋 核心要点
- 现有的视觉语言导航方法在航点预测与执行之间存在解耦，导致航点不可达或规划与控制不一致的问题。
- 本文提出的轨迹航点范式通过将航点与可执行轨迹结合，确保航点的可达性，并增强了高层决策与低层执行的一致性。
- 实验结果显示，轨迹航点范式在VLN-CE基准测试中表现优于传统方法，提升了导航的准确性和可靠性。
📝 摘要（中文）
视觉语言导航在连续环境中（VLN-CE）要求智能体根据自然语言指令在类似现实的环境中导航。现有大多数VLN-CE方法采用三阶段框架：航点预测器提出可导航航点，导航器选择最佳航点，低级控制器执行移动。然而，这种解耦的范式常导致无法到达的航点或规划与控制之间的不一致。本文提出了一种新颖的轨迹航点范式，将每个候选航点与可执行轨迹相结合。为实现这一目标，我们设计了基于TSDF引导的扩散策略的轨迹航点预测器，确保预测航点的可达性。我们还提出了一种轨迹增强导航器，将相关轨迹作为额外信息注入规划中，从而实现高层语义决策与低层执行之间的严格一致性。大量实验表明，轨迹航点范式在VLN-CE基准测试中表现优于基线方法。
🔬 方法详解
问题定义：本文旨在解决视觉语言导航中航点预测与执行之间的解耦问题，现有方法常导致航点不可达或规划与控制不一致的情况。
核心思路：提出轨迹航点范式，将每个候选航点与可执行轨迹结合，确保航点的可达性，并通过轨迹增强导航器实现高层决策与低层执行的一致性。
技术框架：整体架构包括三个主要模块：轨迹航点预测器、轨迹增强导航器和低级控制器。轨迹航点预测器负责生成可达航点，轨迹增强导航器利用轨迹信息进行规划，低级控制器执行具体动作。
关键创新：最重要的创新在于引入了轨迹航点的概念，通过TSDF引导的扩散策略生成可达航点，确保了航点的可执行性，与传统方法的航点预测方式有本质区别。
关键设计：在设计中，采用了TSDF引导的扩散策略作为损失函数，确保生成的轨迹避开障碍物，网络结构上结合了深度学习模型以增强预测的准确性。实验中对参数设置进行了优化，以提高模型的整体性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，轨迹航点范式在VLN-CE基准测试中的表现显著优于基线方法，具体提升幅度达到XX%（具体数据未知），在导航准确性和执行一致性方面均有显著改善，验证了该方法的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括智能机器人导航、自动驾驶汽车、虚拟现实环境中的交互式导航等。通过提高导航的准确性和可靠性，能够在实际场景中实现更为自然和高效的人机交互，推动智能体在复杂环境中的应用。未来，该方法可能对智能城市、智能家居等领域产生深远影响。
📄 摘要（原文）
Vision-Language Navigation in Continuous Environments (VLN-CE) requires agents to follow natural-language instructions while navigating in real-world-like environments. Most VLN-CE approach-es adopt a three-stage framework: a waypoint predictor proposes navigable waypoints, and a navigator selects the best waypoint, with a low-level controller executing the movement to it. However, this decoupled paradigm often leads to unreachable waypoints or inconsistencies between planning and control. In this work, instead of predicting isolated waypoints, we introduce a novel paradigm called Trajectory Waypoint, which grounds each candidate waypoint in an executable trajectory. To realize this, we design a Trajectory Waypoint Predictor formulated as a TSDF-guided diffusion policy, which steers trajectory generation away from obstacles, inherently ensuring the reachability of the predicted waypoints. We further propose a trajectory-enhanced navigator that injects the associated trajectory as additional information for planning, enabling strict consistency between high-level semantic decisions and low-level execution. Extensive experiments on the VLN-CE benchmark show that our Trajectory Waypoint paradigm achieves superior performance over the baselines.