DisParQ: Self-Supervised Part Concepts for Interpretable Vision Foundation Models

📄 arXiv: 2610.09802v1 📥 PDF

作者: Adam Pardyl, Siddhartha Gairola, Sukrut Rao, Adam Wróbel, Bartosz Zieliński, Bernt Schiele, Dawid Rymarczyk

分类: cs.CV, cs.AI, cs.LG

发布日期: 2026-10-07

备注: Under review

💡 一句话要点

提出DisParQ以解决视觉模型可解释性不足的问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉模型 可解释性 自监督学习 离散概念 量化属性 细粒度识别 图像处理

📋 核心要点

  1. 现有的视觉模型在可解释性方面存在不足，通常依赖固定的类别或语言来定义概念，限制了其灵活性。
  2. DisParQ方法通过学习空间定位的离散概念表示，避免了对类别标签和语言监督的依赖，增强了模型的可解释性。
  3. 实验结果表明，DisParQ在多个数据集上与冻结的DINOv2教师模型表现接近，并在概念一致性和细粒度识别上具有竞争力。

📝 摘要（中文）

概念驱动的视觉模型通过中间层的人类可检视概念来表示图像，但现有模型通常依赖固定类别或语言定义概念。本文提出DisParQ（离散部件与量化属性），该方法从强大的冻结视觉自监督骨干网络中学习空间定位的离散概念表示，无需类别标签和语言监督。每个图像块被分配给可学习的原型字典中的一个概念，并且每个图像仅激活稀疏的概念子集。为了捕捉每个概念在图像中的变化，本文学习连续残差并将其量化为离散属性。空间解码器仅通过概念和属性重构骨干网络的表示，成功重构表明离散表示保留了骨干网络的信息。我们在七个数据集上评估DisParQ，结果显示其在概念一致性和细粒度识别上表现优异。

🔬 方法详解

问题定义：本文旨在解决现有视觉模型在可解释性和灵活性方面的不足，尤其是依赖固定类别和语言定义概念的问题。

核心思路：DisParQ通过从自监督学习的视觉骨干中提取离散概念表示，避免了对类别标签和语言的依赖，同时通过量化属性捕捉概念的变化。

技术框架：该方法包括一个可学习的原型字典，每个图像块被分配给一个概念，并通过空间解码器重构骨干网络的表示。

关键创新：DisParQ的创新在于其离散概念表示和量化属性的结合，允许模型在没有语言监督的情况下进行概念学习，显著提高了可解释性。

关键设计：模型设计中包括可学习的原型字典、连续残差的学习和量化过程，以及空间解码器的结构，确保重构的有效性和信息保留。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在实验中，DisParQ在ImageNet线性探测上达到了83.2%的top-1准确率，显示出与冻结的DINOv2教师模型的接近性。此外，该方法在概念一致性上优于语言对齐模型，并在细粒度识别任务中保持竞争力，展现了其强大的性能和实用性。

🎯 应用场景

DisParQ的研究成果在多个领域具有潜在应用价值，包括自动驾驶、医疗影像分析和智能监控等。通过提高视觉模型的可解释性，用户可以更好地理解模型决策过程，从而增强信任度和安全性。未来，该方法可能推动更广泛的自监督学习技术在实际应用中的发展。

📄 摘要（原文）

Concept-based vision models represent images through an intermediate layer of human-inspectable concepts, so what a model relies on can be traced to those concepts. However, those models are often limited to fixed categories or depend on language to define their concepts. We introduce DisParQ (Discrete Parts with Quantized attributes), a method that learns spatially grounded, discrete concept representations from a powerful frozen vision-only self-supervised backbone. It requires no class labels and no language supervision. Each image patch is assigned to exactly one concept from a learnable prototype dictionary, and only a sparse subset of concepts may activate per image. To capture how each concept varies across images (e.g., the type of a "wheel"), we learn continuous residuals alongside the concepts and then quantize them into discrete attributes. A spatial decoder reconstructs the backbone's representation from the concepts and attributes alone, so successful reconstruction means that the discrete representation preserves the backbone's information. We evaluate DisParQ across seven datasets, from general recognition (ImageNet, PartImageNet, Places) to fine-grained benchmarks (CUB, Cars, Dogs, Flowers). We show that DisParQ closely matches its frozen DINOv2 teacher on ImageNet linear probing (83.2% top-1), achieves higher concept consistency than language-aligned models, remains competitive on fine-grained recognition, and enables cross-category part-based retrieval.