SpecMRL: Redesign Matryoshka Representation Learning within Parametric Spectrum

📄 arXiv: 2610.26824v1 📥 PDF

作者: Zhongxin Chen, Songhao Wu, Heng Cui, Cong Li, Xiao Zhou, Rui Yan

分类: cs.CL

发布日期: 2026-10-19

备注: preprint

💡 一句话要点

提出SpecMRL以优化Matryoshka表示学习的特征空间

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 表示学习 特征压缩 谱基 深度学习 机器学习

📋 核心要点

  1. 现有的Matryoshka表示学习方法缺乏明确的约束，导致前导部分的编码效果不佳。
  2. 本文提出SpecMRL，通过引入参数导出的谱基来优化特征空间，增强前缀读取的有效性。
  3. 实验结果显示，SpecMRL在所有降维情况下均优于MRL，尤其在压缩比更高时提升显著。

📝 摘要（中文）

Matryoshka表示学习（MRL）旨在通过联合优化嵌套前缀来支持灵活的表示大小。然而，该设计缺乏明确的约束，无法确保前导部分提供合适的紧凑编码。为此，本文提出了SpecMRL，通过重新组织特征空间以实现更有效的前缀读取。SpecMRL在参数导出的谱基中扩展了MRL，并根据特征重要性进行组织。实验结果表明，SpecMRL在所有评估的降维情况下均优于MRL，尤其在更激进的压缩下表现出更大的提升。这些结果表明，学习到的谱基更好地优先考虑信息方向，从而实现更有效的表示压缩。

🔬 方法详解

问题定义：本文旨在解决现有Matryoshka表示学习（MRL）中前导部分编码效果不佳的问题。现有方法未能有效约束特征空间，导致表示压缩效果不理想。

核心思路：SpecMRL通过引入参数导出的谱基，重新组织特征空间，使得前缀读取更加有效。该设计旨在优先考虑重要特征，从而提升表示的紧凑性和有效性。

技术框架：SpecMRL的整体架构包括特征空间的重组、谱基的学习以及前缀读取模块。首先，通过特征重要性评估构建谱基，然后在该空间中进行前缀读取。

关键创新：SpecMRL的主要创新在于引入了参数导出的谱基，这一设计与传统MRL方法的特征空间组织方式有本质区别，使得信息方向的优先级得到更好的体现。

关键设计：在SpecMRL中，特征重要性评估是关键设计之一，此外，损失函数的选择和网络结构的优化也对模型性能有显著影响。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，SpecMRL在所有评估的降维情况下均优于MRL，尤其在压缩比为50%的情况下，SpecMRL的性能提升显著，超越了全维度的MRL。这一结果表明，学习到的谱基能够更有效地优先考虑信息方向。

🎯 应用场景

SpecMRL的研究成果在多个领域具有潜在应用价值，包括图像处理、自然语言处理和音频信号分析等。通过优化表示学习，SpecMRL能够在资源受限的环境中实现更高效的数据表示，推动智能系统的性能提升。

📄 摘要（原文）

Matryoshka Representation Learning (MRL) is designed to support flexible representation sizes by jointly optimizing nested prefixes. While effective, this design lacks an explicit constraint to ensure that the leading portion provides a suitable compact encoding. To address this, we propose SpecMRL, which reorganizes the feature space to enable more effective prefix readout. Specifically, we extend MRL with a parameter-derived spectral basis organized with feature importance. SpecMRL otherwise follows standard MRL, with prefix readout performed in the learned spectral space. Experiments on MTEB show that SpecMRL outperforms MRL at all evaluated reduced dimensions, with larger gains under more aggressive compression. These results suggest that the learned spectral basis better prioritizes informative directions, enabling more effective representation compression. Notably, SpecMRL extends the performance frontier of MRL, surpassing full-dimensional MRL with only half the embedding dimensions.