Diffusion vs. Autoregressive Language Models: A Text Embedding Perspective

📄 arXiv: 2505.15045v1 📥 PDF

作者: Siyue Zhang, Yilun Zhao, Liyuan Geng, Arman Cohan, Anh Tuan Luu, Chen Zhao

分类: cs.CL

发布日期: 2025-05-21

💡 一句话要点

提出扩散语言模型以解决自回归模型在文本嵌入中的局限性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 扩散语言模型 文本嵌入 自回归模型 双向注意力 长文档检索 推理任务 信息检索

📋 核心要点

  1. 现有的自回归模型在文本嵌入任务中由于单向注意力的使用，导致与双向特性不匹配，限制了其性能。
  2. 本文提出扩散语言模型作为文本嵌入的解决方案，利用其双向架构来更好地捕捉文本的全局上下文。
  3. 实验结果显示，扩散语言嵌入模型在长文档检索上提升20%，在推理密集型检索上提升8%，展现出显著的性能优势。

📝 摘要（中文）

基于大型语言模型（LLM）的嵌入模型，凭借大规模的预训练和后训练，已在文档检索等通用文本嵌入任务中超越了基于BERT和T5的模型。然而，LLM嵌入的一个根本限制在于自回归预训练中使用的单向注意力，这与文本嵌入任务的双向特性不匹配。为此，本文提出采用扩散语言模型进行文本嵌入，基于其固有的双向架构及在推理任务中的成功表现。我们首次系统研究了扩散语言嵌入模型，在长文档检索上超越LLM嵌入模型20%，在推理密集型检索上提升8%，在遵循指令的检索上提升2%，并在传统文本嵌入基准上表现出竞争力。我们的分析验证了双向注意力在编码长文本和复杂文本的全局上下文中的重要性。

🔬 方法详解

问题定义：本文旨在解决自回归语言模型在文本嵌入任务中由于单向注意力导致的性能瓶颈，尤其是在长文本和复杂文本的处理上存在的局限性。

核心思路：通过引入扩散语言模型，利用其双向注意力机制来更有效地捕捉文本的全局上下文，从而提升文本嵌入的质量和性能。

技术框架：整体架构包括数据预处理、扩散语言模型的训练与优化、以及基于该模型的文本嵌入生成。主要模块包括文本输入处理、双向注意力机制的实现和嵌入向量的生成。

关键创新：最重要的创新在于首次将扩散语言模型应用于文本嵌入任务，利用其双向特性显著提升了长文档和推理密集型任务的检索性能，与传统的自回归模型形成鲜明对比。

关键设计：在模型设计中，采用了特定的损失函数以优化双向注意力的效果，并在网络结构上进行了调整，以适应长文本的处理需求，确保模型能够有效捕捉全局信息。

📊 实验亮点

实验结果表明，扩散语言嵌入模型在长文档检索上超越LLM嵌入模型20%，在推理密集型检索上提升8%，在遵循指令的检索上提升2%。这些结果显示出扩散模型在文本嵌入任务中的显著优势，尤其是在处理复杂文本时的表现。

🎯 应用场景

该研究的潜在应用领域包括文档检索、信息检索和自然语言处理等，能够为长文本处理和复杂推理任务提供更高效的解决方案。未来，扩散语言模型可能在更多的文本理解和生成任务中展现出更大的价值，推动相关技术的发展。

📄 摘要（原文）

Large language model (LLM)-based embedding models, benefiting from large scale pre-training and post-training, have begun to surpass BERT and T5-based models on general-purpose text embedding tasks such as document retrieval. However, a fundamental limitation of LLM embeddings lies in the unidirectional attention used during autoregressive pre-training, which misaligns with the bidirectional nature of text embedding tasks. To this end, We propose adopting diffusion language models for text embeddings, motivated by their inherent bidirectional architecture and recent success in matching or surpassing LLMs especially on reasoning tasks. We present the first systematic study of the diffusion language embedding model, which outperforms the LLM-based embedding model by 20% on long-document retrieval, 8% on reasoning-intensive retrieval, 2% on instruction-following retrieval, and achieve competitive performance on traditional text embedding benchmarks. Our analysis verifies that bidirectional attention is crucial for encoding global context in long and complex text.