Sharp Rates and a One-Line Correction for Spectral Representation Learning

📄 arXiv: 2609.15825v1 📥 PDF

作者: Dier Tang, Jing Yee Tan, Guangyue Han

分类: cs.LG, cs.IT, stat.ML

发布日期: 2026-09-14

备注: 27 pages, 4 figures

💡 一句话要点

提出一种新方法以优化自监督特征在任务转移中的表现

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自监督学习 特征转移 任务协方差 谱分析 对齐系数 迁移学习 模型优化

📋 核心要点

  1. 现有自监督特征在未指定任务上的转移能力存在不确定性，难以判断何时需要修正。
  2. 提出通过分析任务协方差与特征谱的关系，来优化自监督特征的转移表现，强调任务多样性的重要性。
  3. 实验结果表明，所提方法在控制数据集上将后悔值从0.86降低至0.003，且在CIFAR-100上准确预测无需修正。

📝 摘要（中文）

本文提出了一种自监督编码器的训练方法，该编码器在训练后被冻结并通过轻量级探测器在未指定任务上重用。研究探讨了何时现成特征足够好，何时需要修正。通过规范相关分析和谱对比损失的群体最优，证明了任务协方差在转移风险中的作用，提出了对齐系数的概念，并展示了任务多样性对自监督特征转移的重要性。最后，提出了一种简单的重加权方法来恢复最优性，显著降低了模型的后悔值。

🔬 方法详解

问题定义：本文旨在解决自监督特征在未指定任务上的转移能力不确定性，现有方法难以判断何时需要修正特征以提高性能。

核心思路：通过分析任务协方差与特征谱的关系，提出了一种新的视角，强调任务多样性对特征转移的影响，而非传统的对称性假设。

技术框架：整体方法包括自监督编码器的训练、任务协方差的计算、谱分析以及基于对齐系数的重加权步骤，形成一个完整的优化流程。

关键创新：提出了对齐系数的概念，证明了任务多样性在特征转移中的重要性，并通过简单的重加权方法恢复了最优性，显著提升了模型性能。

关键设计：在损失函数设计上，采用了谱对比损失，并在计算任务协方差时，关注其在特征谱上的压缩效果，确保了对齐系数的有效性。实验中，统计成本为O(kd_x^2)，确保了方法的高效性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，所提方法在控制数据集上将后悔值从0.86降低至0.003，且在CIFAR-100编码器上准确预测无需修正，证明了方法的有效性和实用性。

🎯 应用场景

该研究在自监督学习和迁移学习领域具有广泛的应用潜力，尤其是在需要快速适应新任务的场景中。通过优化特征转移，能够提升模型在多样化任务上的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

A self-supervised encoder is trained once, frozen, and reused through lightweight probes on tasks nobody named at training time; the practitioner's question is when the off-the-shelf features are good enough and when they need fixing. Canonical correlation analysis, HGR maximal correlation, and the population optimum of the spectral contrastive loss all return the top-$k$ singular subspace of a cross-view dependence operator, justified by isotropy: if the task prior has no directional preference, that subspace is universally optimal. We show isotropy is the wrong hypothesis. The prior enters the transfer risk only through the task covariance $Λ=\mathbb{E}[ΔΔ^\top]$, and only through its compression onto the operator's leading singular directions; what matters is not whether $Λ$ is isotropic but whether its preferred directions are ordered consistently with the operator's spectrum. We prove matching two-sided rates---worst-case regret is exactly $1-1/κ(Λ)$, refines to $1-A_k$ for an alignment coefficient $A_k$, localizes to the top-$2k$ subspace, becomes second order under a spectral gap, and is improvable by no task-agnostic representation---and show why alignment is generic: incoherent preferences cancel in high dimension, and $T$ diverse tasks force $α=\widetilde O(\sqrt{d_x/T})$, a quantitative account of why task diversity, not symmetry, makes self-supervised features transfer. The governing statistics cost $O(kd_x^2)$, and when they signal misalignment a one-line reweighting of the positive-pair term provably restores exact optimality. The result is a diagnostic that answers the practitioner's question from a small labelled budget and refuses when the task bank cannot support the width requested; on controlled data it takes a regret of $0.86$ down to $0.003$, and on a CIFAR-100 encoder it correctly predicts that no correction is needed.