On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning

📄 arXiv: 2410.09156v3 📥 PDF

作者: Bokun Wang, Yunwen Lei, Yiming Ying, Tianbao Yang

分类: cs.LG, stat.ML

发布日期: 2024-10-11 (更新: 2025-03-05)

备注: To appear in ICLR 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于判别概率建模的自监督表征学习方法，提升对比学习性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自监督学习 对比学习 概率建模 多重重要性采样 蒙特卡洛积分

📋 核心要点

  1. 现有基于InfoNCE的对比学习方法在自监督表征学习中存在泛化误差，限制了模型性能。
  2. 论文提出基于判别概率建模的框架，利用多重重要性采样(MIS)进行稳健的蒙特卡洛积分，并推导出新的对比目标。
  3. 实验结果表明，该方法在CC3M和CC12M数据集上优于现有基线，验证了其有效性。

📝 摘要（中文）

本文研究了连续域上用于(多模态)自监督表征学习的数据预测任务中的判别概率建模。为了解决每个锚点数据配分函数中积分计算的难题，我们利用多重重要性采样(MIS)技术进行稳健的蒙特卡洛积分，它可以将基于InfoNCE的对比损失作为特例恢复。 在此概率建模框架内，我们进行了泛化误差分析，揭示了当前基于InfoNCE的对比损失在自监督表征学习中的局限性，并通过减少蒙特卡洛积分的误差，为开发更好的方法提供了见解。 为此，我们提出了一种新颖的非参数方法，通过凸优化来近似MIS所需的条件概率密度之和，从而为自监督表征学习产生新的对比目标。 此外，我们设计了一种高效的算法来解决所提出的目标。 我们在对比图像-语言预训练任务上将我们的算法与代表性的基线进行经验比较。 在CC3M和CC12M数据集上的实验结果表明，我们的算法具有卓越的整体性能。 我们的代码可在https://github.com/bokun-wang/NUCLR上找到。

🔬 方法详解

问题定义：自监督表征学习旨在从无标签数据中学习有用的特征表示。对比学习是其中的一种流行方法，但现有的基于InfoNCE的对比损失存在泛化误差，尤其是在配分函数难以精确计算时，导致学习到的表征并非最优。

核心思路：论文的核心思路是将对比学习问题置于判别概率建模的框架下，通过最大化数据似然来学习表征。为了解决配分函数中积分计算的难题，采用多重重要性采样(MIS)技术进行蒙特卡洛积分，从而更准确地估计概率密度。

技术框架：整体框架包括以下几个阶段：1) 使用编码器将输入数据映射到表征空间；2) 构建判别概率模型，该模型基于表征空间中的距离度量定义数据之间的相似性；3) 使用多重重要性采样(MIS)估计配分函数；4) 通过最大化似然函数（或最小化负对数似然）来优化编码器参数和概率模型参数。

关键创新：最重要的技术创新点在于提出了一种新的非参数方法，通过凸优化来近似MIS所需的条件概率密度之和。这种方法能够更准确地估计概率密度，从而减少蒙特卡洛积分的误差，并得到更优的对比目标。与现有方法相比，该方法避免了对概率密度函数的具体形式进行假设，具有更强的适应性。

关键设计：关键设计包括：1) 使用多重重要性采样(MIS)来估计配分函数，并推导出新的对比损失函数；2) 提出一种基于凸优化的非参数方法来近似条件概率密度之和；3) 设计了一种高效的算法来求解所提出的优化问题。损失函数的设计目标是最大化正样本对的概率，同时最小化负样本对的概率，从而学习到具有区分性的表征。

📊 实验亮点

实验结果表明，在CC3M和CC12M数据集上，该算法在对比图像-语言预训练任务中取得了优于现有基线的性能。具体而言，该方法在多个指标上均有显著提升，验证了其在自监督表征学习中的有效性。

🎯 应用场景

该研究成果可广泛应用于图像、文本等多种模态的自监督表征学习任务中，例如图像分类、目标检测、自然语言处理等。通过学习高质量的表征，可以提升下游任务的性能，并减少对标注数据的依赖，具有重要的实际应用价值和潜力。

📄 摘要（原文）

We study the discriminative probabilistic modeling on a continuous domain for the data prediction task of (multimodal) self-supervised representation learning. To address the challenge of computing the integral in the partition function for each anchor data, we leverage the multiple importance sampling (MIS) technique for robust Monte Carlo integration, which can recover InfoNCE-based contrastive loss as a special case. Within this probabilistic modeling framework, we conduct generalization error analysis to reveal the limitation of current InfoNCE-based contrastive loss for self-supervised representation learning and derive insights for developing better approaches by reducing the error of Monte Carlo integration. To this end, we propose a novel non-parametric method for approximating the sum of conditional probability densities required by MIS through convex optimization, yielding a new contrastive objective for self-supervised representation learning. Moreover, we design an efficient algorithm for solving the proposed objective. We empirically compare our algorithm to representative baselines on the contrastive image-language pretraining task. Experimental results on the CC3M and CC12M datasets demonstrate the superior overall performance of our algorithm. Our code is available at https://github.com/bokun-wang/NUCLR.