MIPIC: Matryoshka Representation Learning via Self-Distilled Intra-Relational and Progressive Information Chaining

📄 arXiv: 2604.24374v1 📥 PDF

作者: Phung Gia Huy, Hai An Vu, Minh-Phuc Truong, Thang Duc Tran, Linh Ngo Van, Thanh Hong Nguyen, Trung Le

分类: cs.CL

发布日期: 2026-04-27

备注: ACL Findings

💡 一句话要点

MIPIC：通过自蒸馏关系对齐和渐进信息链实现Matryoshka表征学习

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: Matryoshka表征学习 自蒸馏 关系对齐 渐进信息链 低资源NLP 表征学习 知识蒸馏

📋 核心要点

  1. 现有Matryoshka表征学习方法缺乏对嵌入维度和模型深度之间信息排列的有效协调。
  2. MIPIC通过自蒸馏关系对齐（SIA）和渐进信息链（PIC）实现跨维度结构一致性和深度方向语义巩固。
  3. 实验表明，MIPIC在低维度下表现出显著的性能优势，并在多个NLP任务上具有竞争力。

📝 摘要（中文）

表征学习是自然语言处理的基础，但构建在不同计算预算下都能良好工作的嵌入是一项挑战。Matryoshka表征学习（MRL）通过嵌套嵌入提供了一种灵活的推理范式；然而，学习这种结构需要显式地协调信息如何在嵌入维度和模型深度上排列。本文提出了MIPIC（Matryoshka Representation Learning via Self-Distilled Intra-Relational Alignment and Progressive Information Chaining），一个统一的训练框架，旨在产生结构连贯且语义紧凑的Matryoshka表征。MIPIC通过自蒸馏关系对齐（SIA）促进跨维度的结构一致性，该方法使用top-k CKA自蒸馏对齐完整表征和截断表征之间的token级别几何关系和注意力驱动关系。作为补充，它通过渐进信息链（PIC）实现深度方向的语义巩固，这是一种支架式对齐策略，将成熟的任务语义从更深层逐步转移到更早层。在STS、NLI和分类基准上的大量实验（涵盖从TinyBERT到BGEM3、Qwen3的模型）表明，MIPIC产生的Matryoshka表征在所有容量下都具有很强的竞争力，并且在极低维度下观察到显著的性能优势。

🔬 方法详解

问题定义：论文旨在解决如何在不同计算预算下，构建既结构连贯又语义紧凑的Matryoshka表征的问题。现有的Matryoshka表征学习方法缺乏对嵌入维度和模型深度之间信息排列的有效协调，导致在低维度下性能不佳。

核心思路：论文的核心思路是通过自蒸馏关系对齐（SIA）来保证不同维度表征之间的结构一致性，并通过渐进信息链（PIC）来实现深度方向上的语义巩固。这样设计的目的是让低维度的表征能够尽可能地保留高维度表征的信息，从而提高在低计算资源下的性能。

技术框架：MIPIC的整体框架包含两个主要模块：自蒸馏关系对齐（SIA）和渐进信息链（PIC）。SIA模块通过对齐完整表征和截断表征之间的token级别几何关系和注意力驱动关系，来保证跨维度的结构一致性。PIC模块则通过将深层网络的语义信息逐步传递到浅层网络，来实现深度方向上的语义巩固。这两个模块协同工作，共同提升Matryoshka表征的质量。

关键创新：MIPIC的关键创新在于提出了SIA和PIC这两个模块，它们分别解决了跨维度结构一致性和深度方向语义巩固的问题。SIA通过自蒸馏的方式，使得低维表征能够学习到高维表征的结构信息。PIC则通过渐进的方式，避免了直接将深层网络的语义信息传递到浅层网络可能带来的训练困难。

关键设计：SIA模块使用了top-k CKA自蒸馏来对齐token级别的几何关系和注意力驱动关系。CKA (Centered Kernel Alignment) 用于衡量不同表征之间的相似度。PIC模块采用了一种支架式对齐策略，逐步将深层网络的语义信息传递到浅层网络。具体的损失函数设计未知，但可以推测是基于蒸馏损失和对齐损失的组合。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，MIPIC在STS、NLI和分类基准上表现出色，尤其是在极低维度下，性能优势显著。MIPIC在TinyBERT、BGEM3和Qwen3等不同模型上都取得了良好的效果，证明了其泛化能力。具体的性能提升数据未知，但摘要强调了“significant performance advantages observed under extreme low-dimensional”。

🎯 应用场景

MIPIC可应用于资源受限的NLP场景，例如移动设备上的自然语言处理、边缘计算环境下的文本分析等。通过生成在不同计算预算下都能良好工作的嵌入，MIPIC能够降低模型部署的成本，并提高在低资源环境下的性能。该研究对轻量级NLP模型的设计和训练具有重要的指导意义。

📄 摘要（原文）

Representation learning is fundamental to NLP, but building embeddings that work well at different computational budgets is challenging. Matryoshka Representation Learning (MRL) offers a flexible inference paradigm through nested embeddings; however, learning such structures requires explicit coordination of how information is arranged across embedding dimensionality and model depth. In this work, we propose MIPIC (Matryoshka Representation Learning via Self-Distilled Intra-Relational Alignment and Progressive Information Chaining), a unified training framework designed to produce structurally coherent and semantically compact Matryoshka representations. MIPIC promotes cross-dimensional structural consistency through Self-Distilled Intra-Relational Alignment (SIA), which aligns token-level geometric and attention-driven relations between full and truncated representations using top-k CKA self-distillation. Complementarily, it enables depth-wise semantic consolidation via Progressive Information Chaining (PIC), a scaffolded alignment strategy that incrementally transfers mature task semantics from deeper layers into earlier layers. Extensive experiments on STS, NLI, and classification benchmarks (spanning models from TinyBERT to BGEM3, Qwen3) demonstrate that MIPIC yields Matryoshka representations that are highly competitive across all capacities, with significant performance advantages observed under extreme low-dimensional.