ReCoVeR the Target Language: Language Steering without Sacrificing Task Performance

📄 arXiv: 2509.14814v1 📥 PDF

作者: Hannah Sterz, Fabian David Schmidt, Goran Glavaš, Ivan Vulić

分类: cs.CL

发布日期: 2025-09-18

🔗 代码/项目: GITHUB

💡 一句话要点

提出ReCoVeR，通过语言引导向量减少LLM的语言混淆，同时保持任务性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 语言混淆 语言引导 向量表示 多语言处理

📋 核心要点

  1. 大型语言模型存在语言混淆问题，即生成与输入不一致的语言，影响用户体验。
  2. ReCoVeR方法利用语言特定的引导向量，在不牺牲任务性能的前提下减少语言混淆。
  3. 实验结果表明，ReCoVeR在多种语言和基准测试中有效降低了语言混淆，并保持了任务性能。

📝 摘要（中文）

大型语言模型（LLM）日益多语言化，但也表现出更多的语言混淆，即倾向于生成与提示语言或用户明确要求的答案语言不同的答案。本文提出ReCoVeR（REducing language COnfusion in VEctor Representations），一种基于语言特定引导向量的轻量级方法，用于减少语言混淆。我们首先借助多并行语料库隔离语言向量，然后通过固定（即无监督）以及可训练的引导函数，有效地利用这些向量进行LLM引导。我们广泛的评估，包括三个基准和18种语言，表明ReCoVeR有效地减轻了单语和跨语设置中的语言混淆，同时——与先前的语言引导方法相比——保持了任务性能。我们的数据代码可在https://github.com/hSterz/recover获得。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）中存在的语言混淆问题。现有的语言引导方法通常会牺牲任务性能，或者需要大量的训练数据。因此，如何在减少语言混淆的同时保持或提升任务性能是一个挑战。

核心思路：ReCoVeR的核心思路是利用语言特定的引导向量来控制LLM的生成过程，从而减少语言混淆。通过在LLM的向量表示空间中引入语言信息，可以引导模型生成更符合要求的语言，同时避免对原始任务性能产生负面影响。

技术框架：ReCoVeR方法主要包含以下几个阶段：1) 语言向量隔离：利用多并行语料库，提取不同语言的语言向量。2) 引导函数设计：设计固定（无监督）和可训练的引导函数，将语言向量应用于LLM的向量表示。3) LLM引导：使用引导函数调整LLM的向量表示，从而控制生成语言。4) 评估：在多个基准测试和语言上评估ReCoVeR的性能。

关键创新：ReCoVeR的关键创新在于其轻量级和高效的语言引导方法。与需要大量训练数据的现有方法不同，ReCoVeR只需要少量的语言向量即可实现有效的语言引导，并且能够在保持任务性能的同时减少语言混淆。此外，ReCoVeR还提出了固定和可训练两种引导函数，可以根据不同的应用场景进行选择。

关键设计：论文中，语言向量的提取依赖于多并行语料库，具体方法未知（论文未详细说明）。引导函数的设计是关键，固定引导函数可能采用简单的向量加法或缩放，而可训练引导函数可能使用小型神经网络来学习最佳的引导策略。损失函数的设计取决于具体的训练目标，例如，可以使用交叉熵损失来优化可训练引导函数的参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ReCoVeR在三个基准测试和18种语言上的实验结果表明，该方法能够有效减少语言混淆，同时保持甚至提升任务性能。与现有的语言引导方法相比，ReCoVeR在减少语言混淆的同时，避免了任务性能的下降，展现了其优越性。具体的性能提升数据未知，需要在论文中查找。

🎯 应用场景

ReCoVeR方法可以应用于各种需要多语言LLM的场景，例如多语言客服、机器翻译、跨语言信息检索等。通过减少语言混淆，可以提高用户体验和任务完成度。该研究为开发更可靠、更可控的多语言LLM提供了新的思路。

📄 摘要（原文）

As they become increasingly multilingual, Large Language Models (LLMs) exhibit more language confusion, i.e., they tend to generate answers in a language different from the language of the prompt or the answer language explicitly requested by the user. In this work, we propose ReCoVeR (REducing language COnfusion in VEctor Representations), a novel lightweight approach for reducing language confusion based on language-specific steering vectors. We first isolate language vectors with the help of multi-parallel corpus and then effectively leverage those vectors for effective LLM steering via fixed (i.e., unsupervised) as well as trainable steering functions. Our extensive evaluation, encompassing three benchmarks and 18 languages, shows that ReCoVeR effectively mitigates language confusion in both monolingual and cross-lingual setups while at the same time -- and in contrast to prior language steering methods -- retaining task performance. Our data code is available at https://github.com/hSterz/recover.