Bayesian Gated Non-Negative Contrastive Learning

📄 arXiv: 2605.28441v1 📥 PDF

作者: Peng Cui, Jiahao Zhang, Lijie Hu

分类: cs.CV, cs.AI

发布日期: 2026-05-27

备注: Accepted by ICML 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出BayesNCL，通过贝叶斯门控非负对比学习解决表征纠缠问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 对比学习 自监督学习 表征学习 可解释性 贝叶斯推断

📋 核心要点

  1. 对比学习表征存在纠缠，可解释性差，源于确定性相似度量对所有特征维度同等对待。
  2. BayesNCL引入概率门控机制，过滤任务无关特征，保留判别语义，解决优化冲突。
  3. 在Imagenet-100上，BayesNCL语义一致性提升142.1%，获得高可解释性表征。

📝 摘要（中文）

对比学习(CL)在自监督表征学习中取得了革命性进展，但其潜在表征仍然高度纠缠且不透明，限制了其在安全关键型应用中的可解释性。我们发现，这种纠缠的一个根本原因是依赖于确定性的相似性度量，它平等地对待所有特征维度。在组合场景中，这会产生优化冲突：常见的背景特征（例如“蓝天”）在正样本对中被鼓励对齐，但在负样本对中同时被排斥，导致梯度振荡，从而阻碍了精确的语义解耦。为了解决这个问题，我们提出了BayesNCL（贝叶斯门控非负对比学习）。与标准方法不同，BayesNCL引入了一种概率门控机制，可以动态地过滤掉任务无关的高频常见特征，同时选择性地保留判别性语义。通过将特征选择形式化为具有稀疏伯努利先验的变分推断问题，我们的方法有效地解决了优化冲突。在Imagenet-100上的实验结果表明，与最先进的基线相比，BayesNCL在语义一致性方面实现了显著的142.1%的提升，从而产生了高度可解释的表征，而不会影响下游任务的性能。代码已在https://github.com/Cui-Peng-624/BayesNCL上提供。

🔬 方法详解

问题定义：对比学习虽然在自监督学习中表现出色，但其学习到的表征往往是纠缠的，缺乏可解释性。尤其是在包含复杂组合结构的场景中，由于常见背景特征的存在，正负样本对之间存在优化冲突，导致梯度震荡，阻碍了语义解耦。现有方法无法有效区分任务相关的判别性特征和任务无关的常见特征，导致表征学习的效率和可解释性降低。

核心思路：BayesNCL的核心思路是通过引入一个概率门控机制，动态地选择对当前任务有用的特征。该机制基于贝叶斯推断，利用稀疏伯努利先验来鼓励特征选择的稀疏性，从而过滤掉任务无关的高频常见特征，并保留判别性语义。通过这种方式，BayesNCL能够缓解正负样本对之间的优化冲突，学习到更具可解释性的解耦表征。

技术框架：BayesNCL的整体框架包括以下几个主要模块：1) 数据增强模块：用于生成对比学习所需的正负样本对。2) 特征提取模块：使用神经网络提取输入图像的特征。3) 概率门控模块：基于变分推断，学习每个特征维度的重要性，并生成一个门控向量。4) 对比学习损失模块：使用门控向量对特征进行加权，并计算对比学习损失。整个流程通过最小化对比学习损失和KL散度损失来优化模型参数，从而学习到具有稀疏性和可解释性的表征。

关键创新：BayesNCL的关键创新在于引入了概率门控机制，将特征选择问题形式化为一个变分推断问题。与传统的确定性特征选择方法不同，BayesNCL能够学习到每个特征维度的概率重要性，从而实现更灵活和鲁棒的特征选择。此外，BayesNCL使用稀疏伯努利先验来鼓励特征选择的稀疏性，从而进一步提高表征的可解释性。

关键设计：BayesNCL的关键设计包括：1) 概率门控模块：使用sigmoid函数将特征的重要性映射到[0,1]区间，并将其作为伯努利分布的参数。2) 稀疏伯努利先验：使用较小的先验概率来鼓励特征选择的稀疏性。3) 变分推断：使用均值场变分推断来近似后验分布，并计算KL散度损失。4) 非负约束：对特征进行非负约束，以进一步提高表征的可解释性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

BayesNCL在Imagenet-100数据集上取得了显著的性能提升。与最先进的基线方法相比，BayesNCL在语义一致性方面实现了142.1%的提升，表明其能够学习到更具可解释性的表征。此外，BayesNCL在下游任务上的性能也与基线方法相当，表明其在提高可解释性的同时，没有牺牲模型的性能。

🎯 应用场景

BayesNCL具有广泛的应用前景，尤其是在安全关键型领域，如自动驾驶、医疗诊断等。其可解释的表征能够帮助人们理解模型的决策过程，提高模型的可靠性和安全性。此外，BayesNCL还可以应用于图像检索、目标检测等任务，提高模型的性能和效率。未来，可以将BayesNCL扩展到其他模态的数据，如文本、语音等，实现跨模态的表征学习。

📄 摘要（原文）

While Contrastive Learning (CL) has revolutionized self-supervised representation learning, its latent representations remain highly entangled and opaque, limiting their interpretability in safety-critical applications. We identify that a fundamental cause of this entanglement is the reliance on deterministic similarity measures, which treat all feature dimensions equally. In compositional scenes, this creates an Optimization Conflict: common background features, such as, "blue sky", are encouraged to align in positive pairs but simultaneously repelled in negative pairs, causing gradient oscillations that hinder precise semantic disentanglement. To address this, we propose BayesNCL (Bayesian Gated Non-Negative Contrastive Learning). Unlike standard approaches, BayesNCL introduces a probabilistic gating mechanism that dynamically filters out task-irrelevant, high-frequency common features while selectively retaining discriminative semantics. By formalizing feature selection as a variational inference problem with a sparse Bernoulli prior, our method effectively resolves the optimization conflict. Empirical experimental results on Imagenet-100 demonstrate that BayesNCL achieves a remarkable 142.1% improvement in semantic consistency compared to state-of-the-art baselines, yielding highly interpretable representations without compromising downstream task performance. Code is available at https://github.com/Cui-Peng-624/BayesNCL.