OWLS: Open-world Language-conditioned Speed Fields for Zero-Shot Rover Navigation

📄 arXiv: 2610.32596v1 📥 PDF

作者: Chahyon Ku, Erica Tevere, Georgios Georgakis, Rudra Mukherjee, Bernadette Bucher

分类: cs.RO

发布日期: 2026-10-23

备注: 8 pages. 6 figures

💡 一句话要点

提出OWLS以解决零样本探测器导航问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 零样本学习 视觉-语言模型 路径规划 地形识别 自主导航

📋 核心要点

  1. 现有方法在复杂地形导航中依赖固定标签集，限制了其适应性和灵活性。
  2. OWLS通过开放词汇视觉-语言模型直接在特征图上进行规划，能够处理未标注的地形。
  3. 在多种真实和模拟环境中，OWLS展示了优越的导航性能，显著提升了探测器的适应能力。

📝 摘要（中文）

语义信息可以作为物理可通行性的代理。看似松散沙子或岩石场的地形可能具有相似的物理特性。开放词汇视觉-语言模型（VLMs）使得在任何固定标签集之外进行物理推理成为可能。我们提出了开放世界语言条件速度场（OWLS），该方法直接在VLM的密集特征图上进行规划。通过对可通行地形的描述进行提示，VLM为单幅相机图像的每个像素打分；OWLS将这些分数投影到地面，利用两个形态学操作进行适配，并将结果用作最小时间规划器的速度场，从而使地形外观和障碍物清除共同影响轨迹。OWLS不需要特定任务的训练、地形注释、持久地图以及除相机之外的外部传感器。我们在室内和越野的物理探测器、200个程序生成的地形的模拟火星和月球探测器以及真实的行星图像上进行了评估。

🔬 方法详解

问题定义：本论文旨在解决零样本探测器导航中的地形识别和路径规划问题。现有方法通常依赖于固定的标签集，限制了其在未知地形中的应用能力。

核心思路：OWLS利用开放词汇视觉-语言模型（VLM）进行地形的语义理解，通过对可通行地形的描述生成速度场，从而实现灵活的路径规划。该设计使得探测器能够在没有特定训练和地形注释的情况下进行导航。

技术框架：OWLS的整体架构包括三个主要模块：首先，VLM对输入图像的每个像素进行评分；其次，将评分结果投影到地面并进行形态学适配；最后，生成的速度场被用于最小时间路径规划。

关键创新：OWLS的最大创新在于其开放世界的特性，能够在没有任务特定训练的情况下，利用语义信息进行有效的地形导航。这一方法与传统依赖固定标签的导航系统本质上不同。

关键设计：在技术细节上，OWLS采用了两种形态学操作来适配速度场，确保其适应不同的探测平台。此外，模型的损失函数设计考虑了地形的可通行性和障碍物的清除，优化了路径规划的效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，OWLS在室内和越野环境中表现出色，成功导航于200个程序生成的地形，并在真实行星图像上验证了其有效性。与基线方法相比，OWLS在路径规划效率和适应性上显著提升，展示了其在复杂环境中的强大能力。

🎯 应用场景

OWLS的研究成果在多个领域具有广泛的应用潜力，包括自动驾驶、无人探测器导航以及灾后救援等场景。其无需特定训练和注释的特性，使得在未知环境中的自主导航成为可能，具有重要的实际价值和未来影响。

📄 摘要（原文）

Semantics can provide a proxy for physical traversability. Terrain that looks like loose sand or a rock field is likely to have similar physical properties. Open-vocabulary vision-language models (VLMs) enable this physical reasoning over terrain outside any fixed label set. We present Open-world Language-conditioned Speed Fields (OWLS), which plans directly over the dense feature map of a VLM. Prompted with a description of traversable terrain, the VLM scores every pixel of a single camera image; OWLS projects these scores onto the ground, adapts them to the platform with two morphological operations, and uses the result as the speed field of a minimum-time planner, so terrain appearance and obstacle clearance shape one trajectory. OWLS needs no task-specific training, no terrain annotation, no persistent map, and no exteroceptive sensor beyond the camera. We evaluate it on a physical rover indoors and off-road, on simulated Mars and Moon rovers over 200 procedurally generated terrains, and on real planetary imagery.