Matryoshka-Adaptor: Unsupervised and Supervised Tuning for Smaller Embedding Dimensions

📄 arXiv: 2407.20243v1 📥 PDF

作者: Jinsung Yoon, Raj Sinha, Sercan O Arik, Tomas Pfister

分类: cs.CL, cs.LG

发布日期: 2024-07-17

💡 一句话要点

Matryoshka-Adaptor：通过无监督和监督调优，降低LLM Embedding维度并保持性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM Embedding 维度降低 信息检索 无监督学习 监督学习 模型调优 知识蒸馏

📋 核心要点

  1. 高维LLM Embedding虽性能优异，但计算成本高昂，限制了实际应用。
  2. Matryoshka-Adaptor通过调优直接修改LLM Embedding，降低维度并保持性能。
  3. 实验表明，该方法在多种数据集上显著降低Embedding维度，且性能不下降。

📝 摘要（中文）

大型语言模型（LLM）的Embedding已成为各种应用，特别是信息检索中的关键组成部分。虽然高维Embedding通常表现出更优越的性能，因为它们包含更多显著信息，但它们的实际应用经常受到计算延迟升高和相关成本增加的阻碍。为了应对这些挑战，我们提出Matryoshka-Adaptor，这是一种新颖的调优框架，专为LLM Embedding的定制而设计。Matryoshka-Adaptor有助于大幅降低维度，同时保持相当的性能水平，从而显著提高计算效率和成本效益。我们的框架直接修改预训练LLM的Embedding，该框架旨在与任何LLM架构无缝集成，包括那些只能通过黑盒API访问的架构。此外，它在无监督和监督学习环境中都表现出有效性。在各种英语、多语言和多模态数据集上进行的严格评估始终显示出Matryoshka-Adaptor的显著收益。值得注意的是，使用Google和OpenAI Embedding API，Matryoshka-Adaptor实现了2到12倍的维度降低，而不会影响多个BEIR数据集的性能。

🔬 方法详解

问题定义：论文旨在解决高维LLM Embedding带来的计算成本和延迟问题。现有方法在降低Embedding维度的同时，往往会显著降低性能，无法在实际应用中取得良好的平衡。此外，现有方法可能难以应用于只能通过黑盒API访问的LLM。

核心思路：Matryoshka-Adaptor的核心思路是通过调优预训练LLM的Embedding，学习一个低维的表示，同时尽可能保留原始高维Embedding中的关键信息。这种方法避免了从头训练Embedding的需要，并且可以灵活地应用于各种LLM架构。

技术框架：Matryoshka-Adaptor框架包含两个主要阶段：(1) Embedding对齐：将原始高维Embedding与目标低维Embedding对齐，学习一个映射关系。(2) 性能优化：通过无监督或监督学习的方式，进一步优化低维Embedding的性能。该框架可以与任何LLM架构集成，包括黑盒API。

关键创新：Matryoshka-Adaptor的关键创新在于其调优策略，它直接作用于预训练LLM的Embedding，而不是从头开始训练。这种方法能够有效地利用预训练模型的知识，从而在降低维度的同时保持性能。此外，该框架同时支持无监督和监督学习，使其具有更广泛的适用性。

关键设计：Matryoshka-Adaptor的具体实现细节未知，因为论文中没有提供关于网络结构、损失函数或参数设置的详细信息。但是，可以推断出，该框架可能使用了对比学习或知识蒸馏等技术来对齐高维和低维Embedding，并使用适当的损失函数来优化低维Embedding的性能。具体参数设置可能需要根据不同的数据集和LLM进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Matryoshka-Adaptor在多个BEIR数据集上实现了显著的维度降低，最高可达12倍，同时性能没有明显下降。使用Google和OpenAI Embedding API的实验也验证了该方法的有效性。这些结果表明，Matryoshka-Adaptor是一种高效且实用的LLM Embedding压缩方法。

🎯 应用场景

Matryoshka-Adaptor可广泛应用于信息检索、推荐系统、文本分类等领域，尤其适用于对计算资源和延迟有严格要求的场景。通过降低Embedding维度，可以显著降低存储成本、提高检索速度，并降低部署成本。该研究成果有助于推动LLM在资源受限环境下的应用，并促进更高效的AI系统设计。

📄 摘要（原文）

Embeddings from Large Language Models (LLMs) have emerged as critical components in various applications, particularly for information retrieval. While high-dimensional embeddings generally demonstrate superior performance as they contain more salient information, their practical application is frequently hindered by elevated computational latency and the associated higher cost. To address these challenges, we propose Matryoshka-Adaptor, a novel tuning framework designed for the customization of LLM embeddings. Matryoshka-Adaptor facilitates substantial dimensionality reduction while maintaining comparable performance levels, thereby achieving a significant enhancement in computational efficiency and cost-effectiveness. Our framework directly modifies the embeddings from pre-trained LLMs which is designed to be seamlessly integrated with any LLM architecture, encompassing those accessible exclusively through black-box APIs. Also, it exhibits efficacy in both unsupervised and supervised learning settings. A rigorous evaluation conducted across a diverse corpus of English, multilingual, and multimodal datasets consistently reveals substantial gains with Matryoshka-Adaptor. Notably, with Google and OpenAI Embedding APIs, Matryoshka-Adaptor achieves a reduction in dimensionality ranging from two- to twelve-fold without compromising performance across multiple BEIR datasets.