Shared Gaussianization: What Gaussian Regularizers Certify About Contrastive Learning, and What They Miss

📄 arXiv: 2610.10299v1 📥 PDF

作者: Ruoyu Zhao, Yuting Chen, Jinheng Zhang, Zhehao Zou, Tong Che

分类: cs.LG, stat.ML

发布日期: 2026-10-07

备注: 27 pages, 4 figures, 3 tables. Ruoyu Zhao and Yuting Chen contributed equally; Tong Che is the project lead

💡 一句话要点

提出共享高斯化方法以优化对比学习中的分布匹配

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 对比学习 高斯化 分布匹配 信息对比损失 视图对齐 优化算法 机器学习

📋 核心要点

  1. 现有的对比学习方法在处理视图对齐和分布匹配时存在不足，难以有效识别不一致性和非均匀性。
  2. 本文提出共享高斯化（SG）方法，通过特征函数检验视图的高斯性，提供对齐和均匀性的有效评估。
  3. 实验结果显示，SG在不同批量大小下均能显著降低损失，并优于传统的InfoNCE训练，揭示了优化过程中的潜在差距。

📝 摘要（中文）

本文研究了共享高斯化（SG），一种基于特征函数的高斯性检验方法，旨在评估对比学习中的分布匹配正则化器（如SIGReg）所能证明的内容。SG通过检测视图之间的不一致性来识别对齐和非均匀性，并在对齐的情况下消失。研究表明，SG在信息对比损失（InfoNCE）中的表现优于现有方法，提供了更快的收敛速度和更好的优化效果。通过引入显式对齐项，SG能够在不同的批量大小下保持性能，揭示了对比学习中的优化差距。

🔬 方法详解

问题定义：本文旨在解决对比学习中视图对齐和分布匹配的不足，现有方法难以有效检测视图之间的不一致性和非均匀性。

核心思路：提出共享高斯化（SG）方法，通过特征函数检验视图的高斯性，能够有效识别对齐和均匀性，并提供更快的收敛速度。

技术框架：SG方法包括特征函数的计算、视图对的高斯性检验、以及损失函数的优化过程，整体流程围绕对齐和均匀性展开。

关键创新：SG的主要创新在于其能够在对齐的情况下消失，并提供了比现有方法更快的收敛速度，尤其是在处理信息对比损失时。

关键设计：SG方法中引入了显式对齐项，损失函数设计为与视图的高斯性相关，且在不同批量大小下调整SIGReg权重以优化性能。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，SG方法在SG${0.2}$损失上优于从头训练的SG${0.2}$，显示出优化过程中的显著差距。具体而言，SG方法在不同批量大小下均能有效降低损失，提供了更快的收敛速度，验证了其在对比学习中的有效性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉中的对比学习、图像检索、以及多模态学习等。通过优化对比学习中的分布匹配，SG方法能够提升模型的性能和稳定性，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

What can a distribution-matching regularizer such as SIGReg in LeJEPA certify about contrastive learning? We study shared Gaussianization (SG), a characteristic-function Gaussianity test on the average of two normalized views, scaled by an independent $χ_d$ radius. Because disagreeing views shorten the average, one test detects both misalignment and non-uniformity. SG vanishes exactly at the aligned, uniform minimizers of population InfoNCE, and under equal marginals it bounds the InfoNCE excess by $4\cdot 3^{3/4}β$ times the square root of the SG loss, plus a term linear in the loss. The square-root rate and this dimension-free constant are sharp, and no squared mean-embedding distance on view pairs achieves a faster rate. With an explicit alignment term, a rotation-invariant uniformity test gives a linear bound if and only if its spectrum dominates that of InfoNCE's kernel $e^{βu^\top v}$; SG's own test does, Gaussian kernels $e^{-γ\|u-v\|^2}$ qualify exactly when $γ\ge β/2$, and moment matching never does. Away from the optimum, the objectives differ. Along an isotropic nuisance channel, pure SG lowers its loss by adding per-view nuisance whenever the shared code is non-uniform. An alignment weight above the channel's gain makes the nuisance-free solution a strict local minimizer; for LeJEPA, the same rule gives a critical SIGReg weight that decreases with the batch size. At finite batch size, an off-diagonal U-statistic removes a plug-in bias toward misalignment. In controlled latent-variable models, pure SG retains per-view style, an alignment weight above the measured gain removes it, and for LeJEPA at three batch sizes the measured gain separates the encoders that retain style from those that do not. InfoNCE training also reaches a lower SG${0.2}$ loss than SG${0.2}$ training from scratch, which points to an optimization gap.