Language Steering for Multilingual In-Context Learning
作者: Neeraja Kirtane, Kuan-Hao Huang
分类: cs.CL
发布日期: 2026-02-02
💡 一句话要点
提出语言向量引导方法，提升多语言上下文学习中非英语语言性能。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多语言模型 上下文学习 语言向量 模型引导 跨语言迁移
📋 核心要点
- 多语言LLM在非英语上的表现不如英语，尤其是在In-Context Learning中，英示例文本，非英语测试时性能下降。
- 提出语言向量引导方法，通过激活差异引导模型行为，使模型内部表示向目标语言空间转移，无需参数更新。
- 实验结果表明，该方法在多语言上下文学习方面优于基线，且语言向量具有跨任务迁移能力。
📝 摘要（中文）
多语言大型语言模型已被广泛采用，但其在非英语语言上的性能明显低于英语。在上下文学习场景中，当使用英语示例进行演示，却在非英语输入上进行测试时，这种差距尤为明显。本文假设大型语言模型为理解语言开发了一个通用的语义空间，其中不同的语言被编码为该空间内的不同方向。基于此，我们提出语言向量——一种无需训练的语言引导方法，利用源语言和目标语言之间的激活差异来引导模型行为。我们在推理过程中，通过将该向量添加到中间模型激活中来引导模型生成，从而使模型的内部表示向目标语言空间转移，而无需任何参数更新。我们在三个数据集上进行了评估，并在三种不同的模型上测试了总共19种语言。结果表明，在所有测试的任务和语言上，我们的方法在多语言上下文学习方面都优于基线。除了性能提升外，引导向量的层次聚类揭示了与语系相符的有意义的语言结构。这些向量还可以成功地跨任务迁移，表明这些表示与任务无关。
🔬 方法详解
问题定义：论文旨在解决多语言大型语言模型在上下文学习中，非英语语言性能显著低于英语的问题。现有方法在处理非英语输入时，往往无法有效利用英语示例中的信息，导致性能下降。痛点在于模型难以在不同语言之间建立有效的语义关联，从而影响了非英语语言的生成质量。
核心思路：论文的核心思路是假设LLM内部存在一个通用的语义空间，不同的语言在该空间中对应不同的方向。通过计算源语言（如英语）和目标语言之间的激活差异，得到一个“语言向量”，该向量代表了从源语言到目标语言的转换方向。在推理过程中，将该向量添加到模型的中间激活层，引导模型的内部表示向目标语言空间移动。
技术框架：该方法无需训练，属于一种推理时干预技术。整体流程如下：1. 选择源语言和目标语言。2. 准备源语言和目标语言的输入样本。3. 通过模型分别运行源语言和目标语言的样本，记录中间激活层的输出。4. 计算源语言和目标语言激活向量的差异，得到语言向量。5. 在推理过程中，将语言向量添加到模型的中间激活层，引导模型生成目标语言的输出。
关键创新：该方法最重要的创新点在于提出了“语言向量”的概念，并将其应用于引导多语言模型的生成。与现有方法相比，该方法无需对模型进行任何训练或微调，即可有效提升非英语语言的性能。此外，该方法还具有跨任务迁移能力，即在不同任务上学习到的语言向量可以应用于其他任务。
关键设计：论文中，语言向量是通过计算源语言和目标语言在特定激活层的平均激活向量的差值得到的。具体来说，对于每个语言，选择多个输入样本，通过模型运行后，在指定的激活层记录每个样本的激活向量，然后计算这些激活向量的平均值，作为该语言在该激活层的代表性向量。语言向量就是源语言和目标语言的代表性向量的差值。论文中没有明确指定激活层的选择方法，但实验结果表明，不同的激活层可能会影响最终的性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在三个数据集和19种语言上均取得了显著的性能提升。具体来说，该方法在多语言上下文学习任务上优于基线方法，并且语言向量具有跨任务迁移能力。层次聚类分析表明，学习到的语言向量能够反映语言之间的关系，与语系具有一致性。
🎯 应用场景
该研究成果可应用于多语言机器翻译、跨语言信息检索、多语言对话系统等领域。通过提升非英语语言的性能，可以使这些应用更好地服务于全球用户，促进不同语言之间的交流和理解。该方法无需训练的特性，使其易于部署和应用，具有广泛的应用前景。
📄 摘要（原文）
While multilingual large language models have gained widespread adoption, their performance on non-English languages remains substantially inferior to English. This disparity is particularly evident in in-context learning scenarios, where providing demonstrations in English but testing on non-English inputs leads to significant performance degradation. In this paper, we hypothesize that LLMs develop a universal semantic space for understanding languages, where different languages are encoded as distinct directions within this space. Based on this hypothesis, we propose language vectors -- a training-free language steering approach that leverages activation differences between source and target languages to guide model behavior. We steer the model generations by adding the vector to the intermediate model activations during inference. This is done to make the model's internal representations shift towards the target language space without any parameter updates. We evaluate our method across three datasets and test on a total of 19 languages on three different models. Our results show consistent improvements on multilingual in-context learning over baselines across all tasks and languages tested. Beyond performance gains, hierarchical clustering of steering vectors reveals meaningful linguistic structure aligned with language families. These vectors also successfully transfer across tasks, demonstrating that these representations are task-agnostic.