ProCAP: Probabilistic Cross-Attentive Prompt Learning for Vision-Language Models

📄 arXiv: 2609.30434v1 📥 PDF

作者: Hiwa Azeez Abbas, Fatemeh Daneshfar, Moloud Abdar

分类: cs.CV

发布日期: 2026-09-24

备注: 20 pages, 8 figures, 9 tables

💡 一句话要点

提出ProCAP以解决视觉-语言模型在低样本学习中的脆弱性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言模型 提示学习 跨模态交互 少样本学习 模型泛化 高斯参数化 信息对比学习

📋 核心要点

  1. 现有的视觉-语言模型在低样本学习和分布变化时表现不佳，尤其是在标记数据稀缺的情况下。
  2. ProCAP通过概率交叉注意机制增强视觉与文本提示的相互作用，保持主干网络不变，提升训练稳定性。
  3. 在多个数据集上进行的实验表明，ProCAP在少样本泛化和跨数据集迁移中表现优异，显著提升了模型性能。

📝 摘要（中文）

预训练的视觉-语言模型如CLIP能够通过提示识别新类别，但在标记数据稀缺或测试分布变化时常常表现不佳。提示学习仅调整少量参数，同时保持主干网络不变，然而许多现有的多模态提示学习方法在视觉和文本分支之间的耦合较弱，导致在低样本情况下表现脆弱。我们提出了ProCAP，一个概率交叉注意的提示学习框架，旨在改善跨模态交互和训练稳定性，而无需更新CLIP的权重。该方法通过堆叠的双向多头交叉注意机制学习视觉和文本提示标记，使两个分支在提示深度上相互精炼。为减少有限监督下的过拟合，我们用高斯均值和方差参数化提示标记，并通过轻量级的KL和L2惩罚进行正则化，同时增加了一个紧凑的对称InfoNCE头，将交叉注意的图像特征与类级文本表示对齐。在11个数据集上的少样本基于新类别的泛化、跨数据集迁移和ImageNet迁移基准测试中，ProCAP在保持CLIP主干不变的情况下，实现了强大的整体基于新类别的性能和竞争力的迁移性能。

🔬 方法详解

问题定义：本论文旨在解决现有视觉-语言模型在低样本学习和测试分布变化时的脆弱性，尤其是在标记数据稀缺的情况下，现有方法往往无法有效适应新类别的识别。

核心思路：ProCAP的核心思路是通过概率交叉注意机制，增强视觉和文本提示之间的交互，确保两个分支在训练过程中相互精炼，而不需要更新主干网络的权重。

技术框架：ProCAP的整体架构包括视觉和文本提示的学习模块，堆叠的双向多头交叉注意机制，以及高斯参数化的提示标记。通过这些模块，模型能够在低维共享空间中对齐图像特征和文本表示。

关键创新：ProCAP的主要创新在于其概率交叉注意机制和高斯参数化的提示标记设计，这与现有方法在提示学习的耦合方式上有本质区别，能够有效减少过拟合并提升模型的泛化能力。

关键设计：在设计中，提示标记通过高斯均值和方差进行参数化，并使用轻量级的KL和L2惩罚进行正则化。此外，增加的InfoNCE头用于对齐交叉注意的图像特征与类级文本表示，进一步提升了模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在11个数据集上的实验结果显示，ProCAP在少样本基于新类别的泛化任务中表现优异，显著提升了模型的整体性能。与基线模型相比，ProCAP在跨数据集迁移和域泛化任务中也展现出竞争力的性能，验证了其有效性和实用性。

🎯 应用场景

ProCAP的研究成果在多个领域具有广泛的应用潜力，尤其是在需要快速适应新类别的视觉识别任务中，如自动驾驶、医疗影像分析和智能监控等。其增强的跨模态交互能力和稳定性将推动视觉-语言模型在实际应用中的有效性和可靠性。未来，随着更多数据集和应用场景的探索，ProCAP可能会进一步优化和扩展。

📄 摘要（原文）

Pre-trained vision-language models such as CLIP can recognize new categories via prompting, but they often struggle when labeled data are scarce or the test distribution shifts. Prompt learning adapts only a small set of parameters while keeping the backbone frozen, yet many existing multimodal prompt learners couple the visual and textual branches weakly and can be brittle in low-shot regimes. We propose ProCAP, a probabilistic cross-attentive prompt learning framework that improves cross-modal interaction and training stability without updating any CLIP weights: it learns both visual and textual prompt tokens and links them through stacked bidirectional multi-head cross-attention so the two branches refine each other across prompt depth. To reduce overfitting under limited supervision, we parameterize prompt tokens with Gaussian means and variances and regularize them with lightweight KL and L2 penalties, and we further add a compact symmetric InfoNCE head that aligns cross-attended image features with class-level text representations in a shared low-dimensional space. Across few-shot base-to-novel generalization on 11 datasets, cross-dataset transfer, and domain generalization on ImageNet shift benchmarks, ProCAP achieves strong aggregate base-to-novel performance and competitive transfer performance while keeping the CLIP backbone unchanged.