Query-Time Calibration of CLIP Features for Open-Vocabulary 3D Segmentation
作者: Dominik Engel, Yousef Rajeh, Leon Sick, Ivan Viola
分类: cs.CV, cs.AI
发布日期: 2026-10-22
💡 一句话要点
提出基于场景校准的CLIP特征以提升开放词汇3D分割性能
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 开放词汇分割 CLIP特征 3D重建 场景校准 多类预测 自然语言处理 视觉-语言模型
📋 核心要点
- 现有方法在处理开放词汇3D分割时，未能有效考虑场景特定的特征分布，导致方向集中性问题。
- 论文提出通过减去共享场景方向和白化文本原型来改善特征比较，从而提升分割性能。
- 实验结果表明，该方法在七种提升方法和四个数据集上均显著提高了分割的平均交并比，表现出良好的通用性。
📝 摘要（中文）
本研究将视觉-语言特征CLIP提升至3D高斯重建中，从而实现通过自然语言查询进行开放词汇分割。尽管CLIP涵盖广泛的语义概念，但个别场景的提升特征可能表现出强烈的方向集中性，而原始的余弦相似度未能考虑场景特定的特征分布。我们展示了通过改变固定提升特征场与文本的比较方式，可以获得显著的分割提升。我们的方法部分减去共享场景方向，并使用固定的通用词汇对文本原型进行白化。最终，采用软聚类进行多类预测，并使用具有相关性边际的CSLS进行单查询预测。通过七种提升方法和四个数据集的评估，查询时间校准在多类和单查询分割中均一致提高了平均交并比，且无需重新训练、源图像重新编码或特征重新提升，展示了场景条件比较在更好利用现有提升表示中的价值。
🔬 方法详解
问题定义：本研究旨在解决开放词汇3D分割中，现有方法未能有效利用场景特定特征分布的问题，导致方向集中性影响分割效果。
核心思路：论文的核心思路是通过部分减去共享场景方向和对文本原型进行白化，改善视觉特征与文本之间的比较，从而提升分割性能。
技术框架：整体架构包括特征提升、场景方向减去、文本原型白化、软聚类和CSLS预测等模块，形成一个完整的查询时间校准流程。
关键创新：最重要的技术创新在于提出了场景中心化的特征比较方法，显著减少了方向集中性，并改善了类相对特征分离，与传统方法相比具有本质区别。
关键设计：在参数设置上，使用固定的通用词汇进行文本原型白化，采用软聚类进行多类预测，并引入具有相关性边际的CSLS进行单查询预测，确保了模型的有效性和稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用该方法在七种提升方法和四个数据集上，平均交并比显著提高，尤其在多类和单查询分割任务中，性能提升幅度达到X%（具体数据待补充），展现出该方法的有效性和广泛适用性。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、机器人视觉、虚拟现实等，能够在这些领域中实现更高效的3D场景理解和对象分割。通过提升开放词汇分割的性能，未来可以推动更智能的交互系统和增强现实应用的发展。
📄 摘要（原文）
Lifting vision-language features such as CLIP into 3D Gaussian reconstructions enables open-vocabulary segmentation through natural-language queries. Although CLIP represents a broad range of semantic concepts, the lifted features of individual scenes can exhibit strong directional concentration, while raw cosine similarity does not account for the scene-specific feature distribution. We show that substantial segmentation gains can be obtained by changing how a fixed lifted feature field is compared with text. Our method partially subtracts a shared scene direction from visual features and text prototypes and whitens text prototypes using a fixed reference vocabulary of generic terms. It then uses soft clustering for multiclass prediction and CSLS with a relevance margin against the reference vocabulary for single-query prediction. Beyond reducing directional concentration, scene centering improves class-relative feature separation in every evaluated scene. Across seven lifting methods and four datasets, the resulting query-time calibration consistently improves mean intersection over union in both multiclass and single-query segmentation. These gains require no retraining, source-image re-encoding, or feature re-lifting, demonstrating the value of scene-conditioned comparison for making better use of existing lifted representations.