Your UnEmbedding Matrix is Secretly a Feature Lens for Text Embeddings

📄 arXiv: 2606.07502v1 📥 PDF

作者: Songhao Wu, Zhongxin Chen, Yuxuan Liu, Heng Cui, Cong Li, Rui Yan

分类: cs.CL, cs.IR

发布日期: 2026-06-05

备注: preprint

🔗 代码/项目: GITHUB

💡 一句话要点

提出EmbedFilter以解决文本嵌入模型性能不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本嵌入 大型语言模型 线性变换 高频标记 零-shot学习 语义表示 模型优化

📋 核心要点

  1. 现有大型语言模型在作为嵌入模型时表现不佳，无法有效捕捉文本的细微语义。
  2. 提出EmbedFilter，通过线性变换过滤高频标记的影响，从而优化文本嵌入的质量。
  3. 实验结果显示，使用EmbedFilter的模型在零-shot任务中性能显著提升，且嵌入维度减少。

📝 摘要（中文）

大型语言模型在多种下游任务中展现出令人印象深刻的零-shot 能力，但作为现成的嵌入模型时表现不佳，导致在大规模文本嵌入基准上效果不理想。本文识别出这一缺陷的潜在原因：文本嵌入在投影到词汇空间时，往往与频繁但无信息的标记对齐，抑制了模型捕捉细微语义的能力。为此，我们提出了EmbedFilter，这是一种简单的线性变换，旨在直接优化来自大型语言模型的文本嵌入。通过过滤掉高频标记的影响，EmbedFilter增强了语义表示，并实现了内在的维度减少，降低了索引存储和加速检索，同时完全保留了优化后的嵌入质量。实验表明，配备EmbedFilter的LLM在零-shot下游任务中表现优越，尽管嵌入维度显著减少。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在文本嵌入任务中的性能不足，尤其是高频标记对语义捕捉的抑制问题。现有方法未能有效过滤这些无信息的标记，导致嵌入质量下降。

核心思路：论文提出EmbedFilter，通过线性变换过滤掉高频标记的影响，从而优化文本嵌入的语义表示。这种设计旨在提升模型对细微语义的捕捉能力。

技术框架：EmbedFilter的整体架构包括对LLM的嵌入矩阵进行线性变换，主要模块为高频标记的识别与过滤，确保嵌入空间更好地反映文本的真实语义。

关键创新：最重要的技术创新在于识别并利用LLM中的unembedding矩阵，发现其编码了一个潜在空间，主动将高频标记写入嵌入空间。通过过滤该子空间，显著提升了嵌入的语义质量。

关键设计：EmbedFilter的设计包括对高频标记的线性变换参数设置，损失函数的优化，以及网络结构的简化，确保在降低维度的同时保留嵌入质量。实验中对比了不同维度下的嵌入效果，验证了设计的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，配备EmbedFilter的LLM在多个下游任务中表现优越，零-shot性能提升幅度显著，嵌入维度减少后仍能保持高质量的语义表示，展示了该方法的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的文本分类、信息检索和推荐系统等。通过优化文本嵌入，EmbedFilter能够提升下游任务的性能，具有广泛的实际价值和影响。未来，研究成果有望推动更高效的文本嵌入模型设计，促进相关领域的发展。

📄 摘要（原文）

Large language models exhibit impressive zero-shot capabilities across a wide range of downstream tasks. However, they struggle to function as off-the-shelf embedding models, leading to suboptimal performance on massive text embedding benchmarks. In this paper, we identify a potential cause underlying this deficiency. Our motivation stems from an unexpected observation: text embeddings tend to align with frequent but uninformative tokens when projected onto the vocabulary space. We argue that this excessive expression of high-frequency tokens suppresses the model's ability to capture nuanced semantics. To address this, we introduce EmbedFilter, a simple linear transformation designed to refine text embeddings derived from LLMs directly. Specifically, we uncover that the unembedding matrix within LLMs encodes a latent space that is actively writing these frequent tokens into embedding space. By filtering out this subspace, EmbedFilter suppress the influence of high-frequency tokens, thereby enhancing semantic representations. As a compelling byproduct, this enables an inherent dimensionality reduction, lowering index storage and speedup retrieval while fully preserving the refined embedding quality. Our experiments across multiple LLM backbones demonstrate that LLMs equipped with EmbedFilter achieve superior zero-shot downstream performance even with significantly reduced embedding dimensions. We hope our findings provide deeper insights into the mechanisms of LLM-based representations and inspire more principled designs to improve text embeddings training. Our code is available at https://github.com/CentreChen/EmbFilter.