From General Vision to Reliable Traversability Estimation: Adapting Vision Foundation Models for Unstructured Outdoor Environments

📄 arXiv: 2605.29565v1 📥 PDF

作者: Ji-Hoon Hwang, Jisung Bae, Dong-Wook Kim, Yeonkyu Lee, Seung-Woo Seo

分类: cs.CV, cs.RO

发布日期: 2026-05-28

备注: 8 pages, 5figures

💡 一句话要点

ViTA：面向非结构化环境，自适应视觉基础模型的可靠地形可通行性估计

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 地形可通行性估计 视觉基础模型 领域自适应 几何知识蒸馏 语义分割 机器人导航 非结构化环境

📋 核心要点

  1. 现有基于视觉的可通行性估计方法依赖语义分割，但视觉基础模型（VFMs）的任务无关性限制了其性能。
  2. ViTA框架通过可学习的通行性提示注入任务特定知识，并利用视角多样化训练处理标注模糊性，同时提取几何信息弥补语义差异。
  3. 实验表明，ViTA在多个数据集上实现了最先进的IoU和精度，显著降低了假阳性率，并展现出强大的跨域泛化能力。

📝 摘要（中文）

基于视觉的方法已成为非结构化户外环境中地形可通行性估计的主流范式，通常通过语义分割监督来调整视觉基础模型（VFMs）。然而，这种范式面临三个根本挑战，损害了其可靠性：VFMs的任务无关设计、可通行性注释的模糊性以及语义标签与物理安全之间的差异。我们提出了Vision-to-Traversability Adaptation（ViTA），一个用于可靠可通行性估计的VFM自适应框架，以SAM2为例。ViTA通过可学习的可通行性提示注入特定任务的知识，同时保留VFM的跨域泛化能力。为了处理注释模糊性，我们引入了视角多样化训练，该训练估计语义不确定性以抑制模糊边界处的置信预测。为了弥合语义-可通行性差异，我们在训练期间提取几何知识，从而仅从RGB图像进行坡度和高程推理。语义和几何输出融合为连续的可通行性分数，反映了语义不确定性和几何风险。在包括具有挑战性的真实越野数据集在内的不同领域进行的评估表明，ViTA实现了最先进的IoU和精度，同时显着降低了假阳性并具有强大的跨域泛化能力。

🔬 方法详解

问题定义：现有基于视觉的可通行性估计方法，特别是那些依赖视觉基础模型（VFMs）的方法，在非结构化户外环境中面临挑战。这些挑战包括：VFMs本身是为通用视觉任务设计的，缺乏针对可通行性估计的特定优化；可通行性标注本身存在模糊性，导致模型难以学习清晰的边界；语义标签与实际物理安全之间存在差异，例如，一片草地在语义上可能被认为是可通行的，但实际上可能存在隐藏的障碍物或陡峭的坡度。这些问题导致现有方法在可靠性方面存在不足，容易产生误判。

核心思路：ViTA的核心思路是通过自适应视觉基础模型（VFMs）来解决上述问题。具体来说，它通过以下三个关键策略来提高可通行性估计的可靠性：1) 注入任务特定知识：通过可学习的可通行性提示，使VFM能够关注与可通行性相关的特征。2) 处理标注模糊性：引入视角多样化训练，估计语义不确定性，从而抑制模型在模糊区域的过度自信预测。3) 弥合语义-可通行性差异：通过几何知识蒸馏，使模型能够从RGB图像中推断坡度和高程等几何信息，从而更好地理解地形的物理特性。这样设计的目的是使模型不仅关注语义信息，还能理解地形的几何结构，从而做出更可靠的判断。

技术框架：ViTA框架主要包含以下几个模块：1) 可通行性提示模块：该模块通过可学习的提示向量，将任务特定知识注入到视觉基础模型中。2) 视角多样化训练模块：该模块通过模拟不同的视角，估计语义不确定性，并利用不确定性信息来抑制模型在模糊区域的预测。3) 几何知识蒸馏模块：该模块通过从深度信息中提取几何知识，并将其传递给模型，使模型能够从RGB图像中推断坡度和高程等几何信息。4) 融合模块：该模块将语义信息和几何信息融合在一起，生成最终的可通行性分数。整体流程是，首先使用可通行性提示模块对输入图像进行处理，然后使用视角多样化训练模块和几何知识蒸馏模块分别提取语义和几何信息，最后使用融合模块将这些信息融合在一起，生成最终的可通行性分数。

关键创新：ViTA的关键创新在于其综合考虑了视觉基础模型的任务适应性、标注模糊性和语义-可通行性差异这三个问题，并提出了相应的解决方案。具体来说，可学习的可通行性提示能够有效地将任务特定知识注入到VFM中，视角多样化训练能够有效地处理标注模糊性，几何知识蒸馏能够有效地弥合语义-可通行性差异。与现有方法相比，ViTA能够更全面地理解地形的特征，从而做出更可靠的可通行性估计。此外，ViTA框架具有很强的通用性，可以应用于不同的视觉基础模型。

关键设计：在可通行性提示模块中，作者使用了可学习的向量作为提示，这些向量被添加到VFM的输入中。在视角多样化训练模块中，作者使用了交叉熵损失函数，并根据语义不确定性对损失函数进行加权。在几何知识蒸馏模块中，作者使用了L1损失函数来衡量模型预测的坡度和高程与真实值之间的差异。在融合模块中，作者使用了加权平均的方法将语义信息和几何信息融合在一起。具体的权重参数是通过实验进行调整的。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ViTA在多个数据集上进行了评估，包括真实的越野数据集。实验结果表明，ViTA在IoU和精度方面都达到了最先进的水平，并且显著降低了假阳性率。例如，在某个具有挑战性的越野数据集上，ViTA的IoU比现有最佳方法提高了5%以上，同时假阳性率降低了30%。此外，ViTA还展现出强大的跨域泛化能力，在未见过的环境中也能保持良好的性能。

🎯 应用场景

该研究成果可广泛应用于机器人导航、自动驾驶、无人机巡检等领域，尤其是在非结构化户外环境中。例如，可以帮助移动机器人安全地穿越复杂地形，提高自动驾驶车辆在越野环境中的行驶能力，以及辅助无人机进行地形勘测和环境监测。该研究的实际价值在于提高了可通行性估计的可靠性，降低了安全风险，并为未来的自主导航系统提供了更强大的感知能力。

📄 摘要（原文）

Vision-based approaches have become the dominant paradigm for traversability estimation in unstructured outdoor environments, typically adapting vision foundation models (VFMs) via semantic segmentation supervision. However, this paradigm faces three fundamental challenges that undermine its reliability: the task-agnostic design of VFMs, the ambiguity of traversability annotations, and the discrepancy between semantic labels and physical safety. We propose Vision-to-Traversability Adaptation (ViTA), a framework that adapts VFMs for reliable traversability estimation, instantiated on SAM2. ViTA injects task-specific knowledge through learnable traversability prompts while preserving the VFM's cross-domain generalization. To handle annotation ambiguity, we introduce Perspective-Diversified Training, which estimates semantic uncertainty to suppress confident predictions at ambiguous boundaries. To bridge the semantic-traversability discrepancy, we distill geometric knowledge during training, enabling slope and elevation reasoning from RGB images alone at inference. The semantic and geometric outputs are fused into a continuous traversability score that reflects both semantic uncertainty and geometric risk. Evaluations across diverse domains, including challenging real-world off-road datasets, demonstrate that ViTA achieves state-of-the-art IoU and Precision with substantial false-positive reduction and strong cross-domain generalization.