Do Multilingual LLMs Think In English?

📄 arXiv: 2502.15603v1 📥 PDF

作者: Lisa Schut, Yarin Gal, Sebastian Farquhar

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-02-21

备注: Main paper 9 pages; including appendix 48 pages

💡 一句话要点

揭示多语言LLM内部决策偏向：模型在英语表征空间进行关键推理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言LLM 语言偏向 内部表征 Logit Lens 激活引导 跨语言迁移学习

📋 核心要点

  1. 现有大型语言模型虽然具备多语言能力，但其内部决策过程的语言偏向性尚不明确，这可能影响模型的公平性和可控性。
  2. 该研究通过分析LLM内部表征，揭示了模型在处理多种语言时，倾向于首先生成接近英语的表征，然后再进行翻译。
  3. 实验结果表明，使用英语计算的引导向量能更有效地引导LLM的激活，进一步证实了模型对英语的偏向性。

📝 摘要（中文）

大型语言模型（LLM）具备多语言能力，能够处理各种语言的任务。然而，本文揭示了当前的LLM在进行关键决策时，其内部表征空间更接近英语，而与输入和输出语言无关。通过使用logit lens探索法语、德语、荷兰语和普通话句子的内部表征，我们发现LLM首先为语义相关的词语生成接近英语的表征，然后再将其翻译成目标语言。此外，在这些LLM中，当引导向量在英语中计算时，激活引导更为有效，而不是使用输入和输出的语言。这表明多语言LLM在很大程度上受到英语的影响，以一种对系统用户不透明的方式执行关键的推理步骤。

🔬 方法详解

问题定义：当前的多语言LLM虽然能够处理多种语言的任务，但是其内部的决策过程是否公平，是否存在某种语言偏向性，这是一个重要的研究问题。现有的方法缺乏对LLM内部表征的深入分析，无法揭示其潜在的语言偏向。

核心思路：该论文的核心思路是通过分析LLM在处理不同语言的句子时，其内部表征的变化，来判断模型是否存在某种语言偏向。如果模型在处理不同语言的句子时，都倾向于首先生成接近英语的表征，然后再进行翻译，那么就说明模型存在对英语的偏向。

技术框架：该研究主要使用了logit lens技术来分析LLM的内部表征。Logit lens是一种用于可视化和理解LLM内部表征的技术，它可以将LLM的内部激活映射到词汇表空间，从而揭示模型在不同层级的表征。

关键创新：该研究的关键创新在于，它首次揭示了多语言LLM在进行关键决策时，其内部表征空间更接近英语，而与输入和输出语言无关。这一发现对于理解LLM的内部工作机制，以及提高LLM的公平性和可控性具有重要意义。

关键设计：该研究使用了多种语言（法语、德语、荷兰语和普通话）的句子作为输入，并使用logit lens技术分析了LLM在不同层级的表征。此外，该研究还使用了激活引导技术，通过在英语和目标语言中计算引导向量，来比较不同语言的引导效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究发现，LLM在处理多种语言时，会先生成接近英语的表征，再翻译成目标语言。激活引导实验表明，使用英语计算的引导向量比使用目标语言计算的引导向量更有效，进一步证实了LLM对英语的偏向性。

🎯 应用场景

该研究成果可应用于提升多语言LLM的公平性和可控性，例如通过调整模型训练策略，减少其对英语的偏向。此外，该研究也有助于开发更高效的跨语言迁移学习方法，以及构建更可靠的多语言自然语言处理系统。

📄 摘要（原文）

Large language models (LLMs) have multilingual capabilities and can solve tasks across various languages. However, we show that current LLMs make key decisions in a representation space closest to English, regardless of their input and output languages. Exploring the internal representations with a logit lens for sentences in French, German, Dutch, and Mandarin, we show that the LLM first emits representations close to English for semantically-loaded words before translating them into the target language. We further show that activation steering in these LLMs is more effective when the steering vectors are computed in English rather than in the language of the inputs and outputs. This suggests that multilingual LLMs perform key reasoning steps in a representation that is heavily shaped by English in a way that is not transparent to system users.