ULME: Predictive Coupling for Mutually Reinforcing Embedding and Language Modeling

📄 arXiv: 2610.30705v1 📥 PDF

作者: Yang Liu, Zhiqiang Yuan, Shu-Dong Huang, Jiancheng Lv, Liwei Yang, Qiwei Yan, Kailin Lv, Jinchao Zhang

分类: cs.CL, cs.AI

发布日期: 2026-10-22

备注: AAAI 2027 Submmitted

💡 一句话要点

提出ULME框架以解决嵌入与语言建模的统一问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本嵌入 语言建模 模型统一 预测耦合 深度学习 信息检索 对话系统

📋 核心要点

  1. 现有的嵌入和生成模型通常是独立训练的，缺乏有效的相互监督，导致能力未能真正统一。
  2. ULME框架通过在查询和答案之间引入可学习的槽，利用三种损失函数实现嵌入与语言建模的有效耦合。
  3. 在多个模型和参数规模上，ULME显著提升了性能，MTEB指标提高了3.3-4.1点，显示出其优越性。

📝 摘要（中文）

文本嵌入和文本生成是现代大语言模型的两项重要能力，然而通常由训练目标不兼容的独立模型提供。尽管近期的统一嵌入生成模型如GritLM在这两种能力之间共享参数，但它们并未有效地相互监督。本文提出ULME，一个后训练框架，通过预测耦合在因果解码器上统一嵌入和语言建模。ULME在查询和答案之间插入可学习的槽，利用对比损失、语言建模损失和停止梯度预测损失进行训练，确保生成过程积极影响嵌入的编码。实验结果显示，ULME在多个模型上显著提升了性能，证明了真正的统一能够实现相互增强的能力。

🔬 方法详解

问题定义：本文旨在解决文本嵌入与文本生成模型之间的统一问题。现有方法通常将这两种能力分开训练，导致它们在目标上不兼容，无法有效相互影响。

核心思路：ULME框架通过引入可学习的槽，在查询和答案之间建立联系，利用三种损失函数进行训练，从而实现嵌入与生成的相互促进。

技术框架：ULME的整体架构包括一个因果解码器和一系列可学习的槽。具体而言，模型在查询和答案之间插入两个槽，分别用于读取语义嵌入和推理嵌入，并在共享的因果骨干上进行训练。

关键创新：ULME的主要创新在于通过预测耦合实现嵌入与语言建模的真正统一，而不是简单的参数共享。这种设计使得生成过程能够主动影响嵌入的编码。

关键设计：ULME使用对比损失将语义槽锚定到文档表示，语言建模损失监督答案生成，以及停止梯度预测损失将推理槽与答案的汇总对齐。这些设计确保了模型在训练过程中的有效性。

📊 实验亮点

在实验中，ULME在两个模型系列（Qwen2.5和Qwen3）及八个参数规模上表现出色，MTEB指标提高了3.3-4.1点，且在标准准确性基准（如MMLU、GSM8K等）上与单独的生成微调模型表现相当，显示出其显著的性能提升。

🎯 应用场景

ULME框架的潜在应用场景包括信息检索、对话系统和智能助手等领域。通过有效统一嵌入与生成能力，ULME能够提升系统的响应质量和准确性，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Text embedding and text generation are two of the most useful capabilities of modern large language models, yet they are typically provided by separate specialized models (an embedder and a generator) trained with incompatible objectives and deployed side by side in retrieval-augmented generation and agent systems. Recent unified embedding-generation models such as GritLM share parameters between the two capabilities, but they either switch attention regimes between modes or optimize embedding and language modeling as parallel objectives that never supervise each other. We argue that these designs are only partially unified: the two capabilities coexist on the same weights, but do not shape each other. We propose ULME, a post-training framework that unifies embedding and language modeling on a causal decoder-only LLM through predictive coupling. ULME inserts a chain of learnable slots between the query and the answer, reads a semantic embedding and a reasoning embedding from two designated slots, and trains three objectives on a shared causal backbone: a contrastive loss anchoring the semantic slot to document representations, a language-modeling loss supervising answer generation, and a stop-gradient predictive loss that aligns the reasoning slot with a pooled summary of the answer, so that generation actively shapes what the embedding encodes. Across two model families (Qwen2.5, Qwen3) and eight scales spanning 0.5B-8B parameters, a single ULME checkpoint improves MTEB by 3.3-4.1 points over the strongest open-source baseline, tightens BRIGHT and AdvBench-IR simultaneously, and remains on par with a generation-only fine-tune on standard accuracy benchmarks (MMLU, GSM8K, MMLU-Pro, HumanEval), demonstrating that genuine unification yields mutually reinforcing rather than merely coexisting capabilities.