From Language Priors to Field Adaptation: Preference Learning for Traversability Estimation
作者: Simon Schwaiger, David Seyser, Alessandro Scherl, Zlatan Ajanović, Wilfried Wöber, Gerald Steinbauer-Wagner
分类: cs.RO, cs.CV
发布日期: 2026-10-02
💡 一句话要点
提出样本高效的偏好学习以解决可通行性估计问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 可通行性估计 样本高效学习 领域适应 自然语言处理 视觉-语言模型
📋 核心要点
- 现有的可通行性估计方法受限于特定的机器人平台和任务偏好，导致模型在不同领域的适用性不足。
- 本研究提出了一种样本高效的偏好学习方法，通过自然语言规则和稀疏图像标注实现领域适应。
- 实验结果显示，该方法在WayFAST数据集上与端到端训练的估计器相比，准确性相当，并且在语义图上实现了更好的密集预测。
📝 摘要（中文）
基于图像的可通行性估计本质上依赖于机器人平台、部署领域和任务偏好，这限制了专用训练模型的适用性。为促进领域适应性，本研究旨在通过样本高效的偏好学习减少目标领域所需的标注数量。我们的方法通过在冻结的视觉-语言特征空间中使用冯·米塞斯-费舍尔混合原型来表示可通行性。相对自然语言规则提供了常识先验，而稀疏的相对图像标注则通过计算和样本高效的微调将原型方向和效用适应到目标领域。WayFAST上的实验表明，该方法的准确性与端到端训练的估计器具有竞争力，同时实现了样本高效的基于图像的适应性。
🔬 方法详解
问题定义：本论文旨在解决基于图像的可通行性估计在不同机器人平台和任务偏好下的适用性不足问题。现有方法通常需要大量标注数据，限制了其在新领域的应用。
核心思路：论文提出通过样本高效的偏好学习来减少目标领域所需的标注数量，利用自然语言规则作为常识先验，结合稀疏的图像标注进行微调，以适应新的领域。
技术框架：整体架构包括三个主要模块：1) 冻结的视觉-语言特征空间；2) 冯·米塞斯-费舍尔混合原型表示；3) 基于自然语言的微调过程。该框架通过相对自然语言规则引导模型学习。
关键创新：最重要的创新在于将自然语言规则与图像标注结合，形成了一种新的领域适应方法，显著提高了模型在新领域的适应性和准确性。
关键设计：在模型设计中，采用了冯·米塞斯-费舍尔混合模型来表示可通行性，并通过稀疏的相对图像标注进行微调，优化了模型的方向和效用。损失函数设计上，强调了样本效率和计算效率的平衡。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的方法在WayFAST数据集上的准确性与传统的端到端训练估计器相当，同时实现了样本高效的图像适应性。定性实验进一步展示了语言先验的零-shot适用性和微调估计器在语义图上的密集预测能力显著提升。
🎯 应用场景
该研究的潜在应用领域包括自主机器人导航、无人驾驶汽车和智能监控系统等。通过提高可通行性估计的准确性和适应性，能够在多变的环境中实现更高效的决策和操作，具有重要的实际价值和未来影响。
📄 摘要（原文）
Image-based traversability estimation is inherently dependent on the robot platform, deployment domain, and mission preferences, which limits the applicability of purpose-trained models. To facilitate domain adaptation, this work aims to reduce the number of required annotations in the target domain using sample-efficient preference learning. Our method represents traversability through von Mises-Fisher mixture prototypes in a frozen vision-language feature space. Relative natural-language rules provide a commonsense prior, while sparse relative image annotations adapt the prototype directions and utilities to a target domain through computationally and sample-efficient fine-tuning. Experiments on WayFAST demonstrate accuracy competitive with end-to-end trained estimators while enabling sample-efficient image-based adaptation. Qualitative experiments further demonstrate the language prior's zero shot applicability and the fine-tuned estimator's improved dense prediction on semantic maps. Evaluation is complemented via semantic interpretation of learned prototypes by dissecting semantically close natural language prompts. Code and trained estimators available at https://resireg.github.io