Steering beyond Language: Improving Multilingual Training-Free Text Embeddings via Paired-Residual Subspace Removal

📄 arXiv: 2610.23807v1 📥 PDF

作者: Ailiang Lin, Zhuoyun Li, Yusong Wang, Keyu Mao, Kotaro Funakoshi, Manabu Okumura

分类: cs.CL

发布日期: 2026-10-16

💡 一句话要点

提出PRSR以改善多语言训练无关文本嵌入

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言处理 文本嵌入 语言模型 无监督学习 语义对齐

📋 核心要点

  1. 现有方法主要集中在英语文本嵌入，导致多语言设置的研究不足，存在语义对齐问题。
  2. 提出配对残差子空间去除（PRSR）方法，通过去除语言特定的变异来改善文本嵌入质量。
  3. 在18种语言上进行200多次单语评估，实验证明PRSR在单语和跨语设置中均显著提升性能。

📝 摘要（中文）

尽管直接从冻结的语言模型（LLMs）中提取文本嵌入已成为一种有前景的方向，但现有方法几乎完全专注于英语，导致多语言环境的研究较少。本文首次系统性研究了多语言训练无关文本嵌入。分析表明，语义相同的句子在不同语言间存在不对齐现象。我们假设可以将语言特定的变异与语义内容分离，从而提高嵌入质量。为此，我们提出了配对残差子空间去除（PRSR），这是一种在推理时无需训练的干预方法，旨在将LLM表示引导至更具语言不变性的语义空间。实验证明，PRSR在多种语言的单语和跨语设置中，均显著提升了现有训练无关基线的性能。

🔬 方法详解

问题定义：本文旨在解决多语言文本嵌入中存在的语言特定变异导致的语义不对齐问题。现有方法多集中于英语，缺乏对多语言的有效处理，影响了嵌入质量。

核心思路：论文提出的PRSR方法通过构建配对残差来捕捉语言特定的偏差，并在推理时去除这些偏差，从而引导LLM表示向更语言不变的语义空间转变。

技术框架：PRSR的整体流程包括：首先从多语言平行句子中构建配对残差；其次，估计这些残差的层级低秩子空间；最后，在最后一个token的隐藏状态中抑制对应的成分。

关键创新：PRSR的主要创新在于其训练无关的干预方式，通过推理时的残差去除，显著提高了多语言文本嵌入的质量，与现有方法相比，提供了一种新的思路来处理语言特定的变异。

关键设计：在实现PRSR时，关键参数包括如何构建配对残差、如何估计低秩子空间，以及如何在最后一个token的隐藏状态中进行有效的成分抑制，这些设计确保了方法的有效性和实用性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PRSR在18种语言的单语评估中，显著提升了现有训练无关基线的性能，尤其在跨语言设置中，PRSR的引入使得性能提升幅度达到10%以上，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括多语言自然语言处理任务，如机器翻译、跨语言信息检索和多语言文本分类等。通过提高多语言文本嵌入的质量，PRSR可以帮助构建更为强大的多语言AI系统，推动跨语言交流与理解的进步。

📄 摘要（原文）

While deriving text embeddings directly from frozen LLMs has emerged as a promising direction, existing methods focus almost exclusively on English, leaving multilingual settings largely unexplored. In this work, we present the first systematic study of multilingual training-free text embeddings in LLMs. Our analysis reveals a language-conditioned embedding geometry in which semantically equivalent sentences remain misaligned across languages. We hypothesize that language-specific variation can be disentangled from semantic content to improve embedding quality. To this end, we propose Paired-Residual Subspace Removal (PRSR), a training-free inference-time intervention that steers LLM representations toward a more language-invariant semantic space. PRSR first constructs paired residuals from multilingual parallel sentences to capture language-specific deviations. It then estimates layer-wise low-rank subspaces from these residuals and suppresses the corresponding components in the last-token hidden states. We conduct more than 200 monolingual evaluations across 18 languages using MTEB and MMTEB, along with cross-lingual bitext mining between English and over 200 other languages. Empirical results demonstrate that PRSR consistently improves the performance of existing training-free baselines in both monolingual and cross-lingual settings across different LLMs.