Unbiased Open World Regularization for Fair Self-Supervised Learning

📄 arXiv: 2607.22149v1 📥 PDF

作者: L{é}o Nicollier, Marc Pic, Pablo Mus{é}, Enric Meinhardt-Llopis, Gabriele Facciolo

分类: cs.LG

发布日期: 2026-07-24

💡 一句话要点

提出无偏开放世界正则化以解决自监督学习中的偏差问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自监督学习 无偏正则化 条件分布匹配 潜在空间 公平性

📋 核心要点

  1. 现有自监督学习方法容易受到数据集中的虚假偏差影响，导致潜在空间的偏差纠缠。
  2. 本文提出无偏开放世界正则化（UOWReg），通过条件目标优化来确保学习表示与目标属性的统计独立性。
  3. 实验结果显示，UOWReg在CelebA基准上减少了均衡几率的违规，同时保持了良好的分类准确性。

📝 摘要（中文）

尽管自监督学习（SSL）模型和联合嵌入预测架构（JEPA）取得了进展，但仍然容易学习数据集中的虚假偏差。这些技术依赖于正则化，通过强制施加全局目标分布（如多元高斯分布或球面上的均匀分布）来防止表示崩溃。然而，这些全局约束不足以防止偏差纠缠，因为与任务无关的特征仍然可以将潜在空间分隔为不同的子区域。为了解决这一问题，本文提出了无偏开放世界正则化（UOWReg），一种仅编码器框架，能够显式地强制条件分布匹配，从而确保学习的表示与目标属性之间的统计独立性。我们在高斯和球面潜在空间中进行了实证验证，结果表明UOWReg在CelebA基准上减少了均衡几率的违规，同时保持了与现有编码器基线的竞争性分类准确性。

🔬 方法详解

问题定义：本文旨在解决自监督学习中由于全局目标分布导致的偏差纠缠问题。现有方法如EnD和FSCL虽然在一定程度上减轻了偏差，但仍然无法完全消除潜在空间中的偏差。

核心思路：论文提出的UOWReg通过转向条件目标优化，显式地强制条件分布匹配，从而确保学习的表示与目标属性之间的统计独立性。这种方法能够有效防止潜在空间的偏差纠缠。

技术框架：UOWReg是一个仅编码器的框架，主要包括数据输入、特征提取、条件目标优化和输出层。通过对潜在空间施加条件均匀性约束，确保了表示的公平性。

关键创新：UOWReg的核心创新在于将全局目标转变为条件目标，从而实现了对潜在空间的更精确控制。这一方法与现有的偏差减轻技术有本质区别，能够更有效地隔离微观特征。

关键设计：在设计中，UOWReg使用了特定的损失函数来强制条件分布匹配，并在高斯和球面潜在空间中进行了实证验证。关键参数设置包括条件均匀性约束的强度和优化算法的选择。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，UOWReg在CelebA基准上显著减少了均衡几率的违规，分类准确性与现有编码器基线相当，且在球面潜在空间中实现了更低的线性探测分类错误率，展示了其有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自然语言处理和其他需要公平性和无偏性的自监督学习任务。通过有效地减轻偏差，UOWReg能够提高模型在真实世界应用中的可靠性和公正性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Despite recent advances, self-supervised learning (SSL) models and Joint-Embedding Predictive Architectures (JEPAs) remain susceptible to learning spurious biases in the dataset. These techniques rely on regularization, which prevents representation collapse by enforcing a global target distribution such as a multivariate Gaussian or a uniform distribution on the sphere. However, these global constraints are insufficient to prevent bias entanglement, as task-irrelevant features can still segregate the latent space into distinct sub-regions. While recent approaches like Entangling and Disentangling (EnD) and Fair Supervised Contrastive Learning (FSCL) empirically debias the latent space, we show that they act as partial approximations of conditional distribution matching. To enforce this matching explicitly, we propose Unbiased Open World Regularization (UOWReg), an encoder-only framework. We show that this shift from a global to a conditional objective guarantees statistical independence between the learned representations and the targeted attributes, regardless of the chosen target distribution. We empirically validate this framework across both Gaussian and spherical latent spaces, using statistical measures to enforce these target distributions. While conditional matching successfully mitigates bias with both distributions, we demonstrate that enforcing conditional uniformity on the sphere yields a lower linearprobing classification error. Empirically, UOWReg reduces Equalized Odds violations on the CelebA benchmark while maintaining competitive classification accuracy compared to existing encoder-only baselines. Furthermore, we introduce the Synthetic Engraving Task-a novel setting in which a dominant macro-structure masks a fine-grained micro-signature. We show that UOWReg effectively prevents the subpopulation collapse observed in standard SSL, successfully isolating micro-signatures even when heavily entangled with the global structure.