PIVOT: Physically Informed Vision-Language Off-Road Traversability for Field Robot Navigation
作者: Aoran Jiao, Wenda Zhao, Hshmat Sahak, Timothy D. Barfoot
分类: cs.RO
发布日期: 2026-09-17
💡 一句话要点
提出PIVOT系统以解决野外机器人导航中的地形评估问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 地形评估 视觉-语言模型 自主导航 机器人技术 非结构化环境 几何规划 语义推理
📋 核心要点
- 现有的几何基础地形评估方法在复杂环境中表现保守，限制了机器人自主导航的能力。
- PIVOT系统结合几何规划与视觉-语言模型的语义推理，提供更准确的地形评估和导航决策。
- 实验表明，PIVOT系统将自主性从59.6%提升至97.0%，人工干预次数从11次减少至3次，显著提高了导航效率。
📝 摘要（中文）
地形评估是野外移动机器人安全可靠导航的关键能力。传统的基于几何的地形评估方法计算速度快，但在非结构化环境中往往过于保守。本文提出PIVOT系统，通过将传统几何规划与基于视觉-语言模型的语义推理相结合，增强了地形评估的准确性。我们量化了视觉-语言模型预测的行驶能耗、机器人振动和轮胎打滑与实际测量之间的相关性，并引入统一的可通行性评分。实验结果表明，该系统显著提高了自主导航能力，减少了人工干预，展示了基于物理的视觉-语言模型在地形评估中的潜力。
🔬 方法详解
问题定义：本文旨在解决现有几何基础地形评估方法在复杂非结构化环境中的保守性问题，导致机器人导航能力受限。
核心思路：PIVOT系统通过结合视觉-语言模型的语义推理与传统几何规划，提供更为准确的地形评估，确保机器人在复杂环境中的安全导航。
技术框架：该系统采用两级导航架构，保留几何规划作为主要模式，仅在该模式无法找到路径时调用语义重规划。主要模块包括几何规划模块、视觉-语言模型模块和统一可通行性评分模块。
关键创新：最重要的创新在于引入了基于物理的视觉-语言模型进行地形评估，并通过量化不同模态的预测与实际测量的相关性，生成统一的可通行性评分。
关键设计：系统设计中，关键参数包括预测的行驶能耗、机器人振动和轮胎打滑的相关性权重，损失函数则考虑了不同模态的预测准确性，以优化整体导航性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，PIVOT系统在五次闭环试验中将自主性从59.6%提升至97.0%，人工干预次数从11次减少至3次，平均干预距离从69.2米增加至412.9米，显著优于仅依赖几何导航的方法。
🎯 应用场景
PIVOT系统在野外机器人导航、自动驾驶和无人机等领域具有广泛的应用潜力。通过提高地形评估的准确性，该系统能够在复杂环境中实现更高水平的自主导航，减少人工干预，提升任务执行效率，具有重要的实际价值和未来影响。
📄 摘要（原文）
Terrain assessment is a critical capability for off-road mobile robots, enabling safe and reliable navigation through unstructured and geometrically complex environments. Conventional geometry-based terrain assessment is fast to compute but often overly conservative in unstructured environments. We present PIVOT: a Physically Informed Vision-Language Off-Road Traversability navigation system that augments conventional geometry-based planning with vision-language-model (VLM)-based semantic reasoning for field robots. To physically ground this assessment, we quantify how strongly the VLM's predicted traversal energy cost, robot vibration, and wheel slip correlate with real-world measurements and introduce a unified traversability score that weights each modality by its prediction-measurement correlation. For efficiency, we design a two-level navigation architecture that retains geometry-based planning as the nominal mode and invokes semantic replanning only when that mode fails to find a path. Across five repeated closed-loop trials on a mixed-terrain route totalling around $6.4$ km, the proposed system increases overall autonomy from $59.6\%$ to $97.0\%$, reduces human interventions from $11$ to $3$, and increases the mean distance between interventions (MDBI) from $69.2$ m to $412.9$ m compared with geometry-only navigation. These results demonstrate that physically grounded VLM-based terrain assessment can substantially extend autonomous navigation beyond the limitations of geometry alone, while preserving efficient geometric planning as the nominal mode.