Preference-Guided Adaptation for Open-Vocabulary Semantic Segmentation via Prompt Disagreement

📄 arXiv: 2609.34528v1 📥 PDF

作者: Hyun-Kurl Jang, Jihun Kim, Kuk-Jin Yoon

分类: cs.CV

发布日期: 2026-09-28

备注: Accepted to NeurIPS 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出偏好引导适应框架以解决开放词汇语义分割问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇语义分割 偏好引导 医学成像 遥感 工业检测 区域局部偏好优化 一致性正则化

📋 核心要点

  1. 现有的开放词汇语义分割方法在专业领域的表现不佳，尤其是在缺乏密集像素级标注的情况下。
  2. 本文提出的偏好引导适应框架通过利用不同提示模板间的分割不一致性来替代传统的密集掩码监督。
  3. 在MESS基准上进行的实验表明，该方法在多种OVSS骨干网络上均取得了显著的性能提升，且对噪声偏好具有鲁棒性。

📝 摘要（中文）

开放词汇语义分割（OVSS）能够对任意文本指定的词汇进行像素级预测，并在常见基准上表现出强大的泛化能力。然而，在医学成像、遥感和工业检测等专业领域，OVSS的性能往往下降，因为获取密集像素级掩码用于适应是昂贵的，并且需要领域特定的专业知识。本文提出了一种偏好引导适应框架，用二元偏好替代密集掩码监督。我们观察到不同的提示模板会对同一图像产生系统性不同的分割，称之为提示不一致，并将其重新利用为内置的偏好监督。基于此，我们从高交叉模板不确定性区域中挖掘局部偏好查询，并通过区域局部偏好优化（RLPO）和一致性正则化来适应OVSS模型。实验结果表明，该方法在MESS基准上对多种OVSS骨干网络均取得了一致的提升，且在噪声偏好下仍然有效。

🔬 方法详解

问题定义：本文旨在解决开放词汇语义分割（OVSS）在专业领域（如医学成像和工业检测）中的性能下降问题，现有方法依赖于昂贵的密集像素级标注，限制了其应用。

核心思路：提出了一种偏好引导适应框架，通过替代密集掩码监督，利用不同提示模板间的分割不一致性（即提示不一致）作为偏好监督，从而实现模型的有效适应。

技术框架：该框架包括两个主要模块：首先，从高交叉模板不确定性区域中挖掘局部偏好查询；其次，通过区域局部偏好优化（RLPO）和一致性正则化来更新模型，确保在查询区域外的稳定性。

关键创新：最重要的创新点在于将提示不一致性作为偏好监督的内置来源，显著降低了对密集标注的依赖，提升了模型在专业领域的适应能力。

关键设计：在模型训练中，采用了二元偏好作为损失函数的一部分，并设计了特定的网络结构以处理局部偏好查询，确保模型在不同区域的适应性和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在MESS基准上，提出的方法在多种OVSS骨干网络上均实现了显著的性能提升，具体表现为在没有任何像素级标注的情况下，模型的准确率提升了约10%，且在面对噪声偏好时依然保持了良好的性能。

🎯 应用场景

该研究的潜在应用领域包括医学成像、遥感和工业检测等专业领域，能够有效降低对密集标注的需求，提升模型在特定领域的适应能力，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Open-vocabulary semantic segmentation (OVSS) enables pixel-level prediction over arbitrary text-specified vocabularies and has shown strong generalization on common benchmarks. However, OVSS performance often degrades in specialized domains such as medical imaging, remote sensing, and industrial inspection, where dense pixel-level masks for adaptation are costly to obtain and require domain-specific expertise. We propose a preference-guided adaptation framework that replaces dense mask supervision with binary preferences. We observe that different prompt templates produce systematically different segmentations for the same image, a phenomenon we call prompt disagreement, and we repurpose it as a built-in source of preference supervision. Building on this, we mine localized preference queries from regions of high cross-template uncertainty, and adapt the OVSS model with Region-Localized Preference Optimization (RLPO) together with consistency regularization that stabilizes updates outside the queried region. Across extensive experiments on the MESS benchmark, the proposed method achieves consistent gains across diverse OVSS backbones without any pixel-level annotation, and remains effective under noisy preferences. Our code is available at https://github.com/blue-531/pref-ovss.