ReCoVeR the Target Language: Language Steering without Sacrificing Task Performance

📄 arXiv: 2509.14814v1 📥 PDF

作者: Hannah Sterz, Fabian David Schmidt, Goran Glavaš, Ivan Vulić

分类: cs.CL

发布日期: 2025-09-18

🔗 代码/项目: GITHUB

💡 一句话要点

提出ReCoVeR，通过语言引导向量减少LLM的语言混淆，同时保持任务性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 语言混淆 引导向量 多语言 向量表示 任务性能 跨语言

📋 核心要点

  1. 大型语言模型存在语言混淆问题，即输出语言与输入或目标语言不一致，影响用户体验。
  2. ReCoVeR利用语言特定的引导向量，通过无监督或可训练的引导函数，对LLM进行有效引导。
  3. 实验表明，ReCoVeR能有效缓解语言混淆，同时保持甚至提升LLM在各项任务中的性能。

📝 摘要（中文）

大型语言模型（LLM）日益呈现多语言特性，但也因此表现出更多的语言混淆现象，即生成答案的语言与提示或用户明确要求的答案语言不一致。本文提出ReCoVeR（REducing language COnfusion in VEctor Representations），一种基于语言特定引导向量的轻量级方法，旨在减少语言混淆。我们首先借助多并行语料库分离出语言向量，然后通过固定（即无监督）以及可训练的引导函数，有效地利用这些向量进行LLM引导。广泛的评估，包括三个基准测试和18种语言，表明ReCoVeR在单语和跨语设置中都能有效缓解语言混淆，同时与先前的语言引导方法不同，还能保持任务性能。我们的数据代码可在https://github.com/hSterz/recover获取。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）中存在的语言混淆问题。现有的语言引导方法通常会牺牲任务性能，即在纠正语言输出的同时，降低模型在原始任务上的表现。因此，如何在减少语言混淆的同时，保持甚至提升任务性能，是本文要解决的关键问题。

核心思路：ReCoVeR的核心思路是利用语言特定的引导向量，在不影响模型原有知识表达的情况下，引导模型生成目标语言的文本。通过学习或固定语言向量，并在模型的向量表示空间中进行微调，从而实现语言输出的控制。这种方法旨在解耦语言信息和任务信息，避免过度干预导致的任务性能下降。

技术框架：ReCoVeR的整体框架包含以下几个主要阶段：1) 语言向量提取：利用多并行语料库，通过某种方法（例如，计算语言之间的向量差异）提取语言特定的向量表示。2) 引导函数设计：设计引导函数，将语言向量应用于LLM的向量表示空间，从而影响模型的输出语言。引导函数可以是固定的（无监督的），也可以是可训练的。3) 模型引导：将引导函数应用于LLM，在生成文本时，根据语言向量调整模型的输出。4) 评估：评估模型在语言混淆程度和任务性能方面的表现。

关键创新：ReCoVeR的关键创新在于其能够在减少语言混淆的同时，保持甚至提升任务性能。这与现有的语言引导方法形成对比，后者通常需要在语言控制和任务性能之间进行权衡。ReCoVeR通过解耦语言信息和任务信息，避免了过度干预，从而实现了更好的平衡。

关键设计：ReCoVeR的关键设计包括：1) 语言向量提取方法：论文可能采用了某种特定的方法来提取语言向量，例如，基于平行语料的向量差异计算。2) 引导函数的形式：引导函数可以是简单的线性变换，也可以是更复杂的非线性函数。论文可能尝试了不同的引导函数形式，并比较了它们的效果。3) 训练策略：如果引导函数是可训练的，则需要设计合适的训练策略，例如，使用某种损失函数来优化引导函数的参数。4) 超参数设置：例如，引导向量的缩放因子，学习率等。

📊 实验亮点

实验结果表明，ReCoVeR在三个基准测试和18种语言上均能有效缓解语言混淆，同时保持甚至提升任务性能。与现有方法相比，ReCoVeR在语言控制方面取得了显著的进步，并且避免了任务性能的下降，在某些情况下甚至有所提升。具体的性能数据和提升幅度需要在论文中查找。

🎯 应用场景

ReCoVeR可应用于需要精确控制输出语言的各种场景，例如多语言客服机器人、机器翻译后编辑、以及跨语言信息检索等。该研究有助于提升多语言LLM的实用性和可靠性，减少因语言混淆导致的信息偏差和误解，并为未来开发更智能、更可控的多语言AI系统奠定基础。

📄 摘要（原文）

As they become increasingly multilingual, Large Language Models (LLMs) exhibit more language confusion, i.e., they tend to generate answers in a language different from the language of the prompt or the answer language explicitly requested by the user. In this work, we propose ReCoVeR (REducing language COnfusion in VEctor Representations), a novel lightweight approach for reducing language confusion based on language-specific steering vectors. We first isolate language vectors with the help of multi-parallel corpus and then effectively leverage those vectors for effective LLM steering via fixed (i.e., unsupervised) as well as trainable steering functions. Our extensive evaluation, encompassing three benchmarks and 18 languages, shows that ReCoVeR effectively mitigates language confusion in both monolingual and cross-lingual setups while at the same time -- and in contrast to prior language steering methods -- retaining task performance. Our data code is available at https://github.com/hSterz/recover.