Measuring Intrinsic Dimension of Token Embeddings

📄 arXiv: 2503.02142v1 📥 PDF

作者: Takuya Kataiwa, Cho Hakaze, Tetsushi Ohki

分类: cs.CL, cs.LG

发布日期: 2025-03-04

备注: 4 pages, 4 figures

💡 一句话要点

通过测量token嵌入的本征维度评估语言模型的冗余度并指导LoRA应用

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 本征维度 token嵌入 语言模型 模型冗余 LoRA 模型压缩 表征学习

📋 核心要点

  1. 大型语言模型token嵌入维度通常很高，但实际有效维度可能远低于此，存在冗余。
  2. 通过测量token嵌入的本征维度（ID）来量化模型冗余度，并观察其在训练过程中的变化。
  3. 实验表明，ID可作为LoRA应用于嵌入层的指导，在ID附近困惑度会显著下降。

📝 摘要（中文）

本研究测量token嵌入的本征维度（ID），以评估表征所跨越流形的本征维度，从而量化其相对于外在维度的冗余度。具体而言，(1)我们估计了小型语言模型和现代大型语言模型中token嵌入的ID，发现嵌入空间通常位于比其外在维度更低的维度流形上；(2)我们测量了各种模型大小的ID，并观察到随着模型规模的增长，冗余率也在增加；(3)我们测量了训练过程中ID的动态变化，发现在训练的早期阶段ID迅速下降。此外，(4)当LoRA应用于嵌入层时，我们观察到在估计的ID附近困惑度突然下降，这表明ID可以作为LoRA应用的有用指导。

🔬 方法详解

问题定义：论文旨在解决大型语言模型中token嵌入维度过高，存在冗余的问题。现有方法缺乏对嵌入空间有效维度的量化评估，无法有效指导模型压缩和优化。因此，如何准确评估token嵌入的本征维度，并利用该信息指导模型优化，是本文要解决的核心问题。

核心思路：论文的核心思路是通过测量token嵌入的本征维度（Intrinsic Dimension, ID）来量化嵌入空间的冗余度。ID反映了嵌入空间中数据点所需的最小维度，如果ID远小于外在维度，则表明嵌入空间存在冗余。通过分析ID的变化，可以了解模型在训练过程中如何学习有效的表征，并指导模型压缩和优化。

技术框架：论文的技术框架主要包括以下几个步骤：1) 选取不同规模的语言模型，包括小型模型和大型模型；2) 提取token嵌入层的权重矩阵；3) 使用特定的算法（论文中未明确指出具体算法，但提到是测量ID）估计token嵌入的本征维度；4) 分析ID与模型规模、训练阶段以及LoRA应用之间的关系。

关键创新：论文的关键创新在于将本征维度的概念引入到语言模型token嵌入的分析中，并将其与模型冗余度、训练过程和LoRA应用联系起来。通过测量ID，可以更深入地了解语言模型的表征学习机制，并为模型压缩和优化提供新的思路。

关键设计：论文的关键设计包括：1) 选择不同规模的语言模型进行分析，以观察ID与模型规模之间的关系；2) 测量训练过程中ID的动态变化，以了解模型如何学习有效的表征；3) 将ID与LoRA应用相结合，观察ID对LoRA效果的影响。具体参数设置、损失函数和网络结构等细节未在摘要中提及，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，token嵌入空间通常位于比其外在维度更低的维度流形上，表明存在冗余。随着模型规模的增长，冗余率也在增加。在训练的早期阶段，ID迅速下降。当LoRA应用于嵌入层时，在估计的ID附近困惑度突然下降，这表明ID可以作为LoRA应用的有用指导。

🎯 应用场景

该研究成果可应用于语言模型的压缩和优化，例如，通过本征维度指导LoRA等参数高效微调方法的应用，降低计算资源消耗，提升模型部署效率。此外，该研究也有助于理解语言模型的表征学习机制，为设计更高效的语言模型架构提供理论依据。

📄 摘要（原文）

In this study, we measure the Intrinsic Dimension (ID) of token embedding to estimate the intrinsic dimensions of the manifolds spanned by the representations, so as to evaluate their redundancy quantitatively compared to their extrinsic dimensionality. In detail, (1) we estimate the ID of token embeddings in small-scale language models and also modern large language models, finding that the embedding spaces often reside on lower-dimensional manifolds compared to their extrinsic dimensionality; (2) we measure the ID across various model sizes and observe an increase in redundancy rates as the model scale grows; (3) we measure the dynamics of IDs during the training process, and find a rapid ID drop in the early stages of training. Moreover, (4) when LoRA is applied to the embedding layers, we observe a sudden drop in perplexity around the estimated IDs, suggesting that the ID can serve as a useful guideline for LoRA application.