What Language(s) Does Aya-23 Think In? How Multilinguality Affects Internal Language Representations

📄 arXiv: 2507.20279v1 📥 PDF

作者: Katharina Trinley, Toshiki Nakai, Tatiana Anikina, Tanja Baeumel

分类: cs.CL

发布日期: 2025-07-27

备注: pre-print

💡 一句话要点

分析Aya-23内部语言表征，揭示多语言训练对LLM的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言模型 语言表征 神经元分析 代码混合 机器翻译

📋 核心要点

  1. 现有LLM多语言能力强，但内部语言处理机制是黑盒，缺乏深入理解。
  2. 通过分析Aya-23在多语言任务中的神经元激活模式，揭示多语言训练的影响。
  3. 发现Aya-23翻译时激活相关语言表征，代码混合受基础语言影响，特定语言神经元集中在最后几层。

📝 摘要（中文）

大型语言模型（LLMs）在多语言任务中表现出色，但其内部语言处理机制仍不清楚。我们分析了Aya-23-8B（一个在平衡的多语言数据上训练的decoder-only LLM）在代码混合、完形填空和翻译任务中的表现，并将其与主要为单语模型（如Llama 3和Chinese-LLaMA-2）进行比较。通过logit lens和神经元特化分析，我们发现：（1）Aya-23在翻译过程中激活了类型学上相关的语言表征，这与依赖单一枢轴语言的以英语为中心的模型不同；（2）代码混合神经元激活模式随混合率变化，并且更多地受到基础语言的影响，而不是混合语言；（3）Aya-23用于代码混合输入的特定语言神经元集中在最后几层，这与之前关于decoder-only模型的研究结果不同。神经元重叠分析进一步表明，脚本相似性和类型学关系会影响不同模型类型的处理。这些发现揭示了多语言训练如何塑造LLM内部结构，并为未来的跨语言迁移研究提供信息。

🔬 方法详解

问题定义：论文旨在理解大型语言模型（LLMs）如何处理多语言信息，特别是研究Aya-23-8B模型在处理代码混合、完形填空和翻译任务时的内部语言表征。现有方法主要集中在单语模型或以英语为中心的模型上，缺乏对真正多语言模型内部机制的深入理解，以及不同语言之间如何相互影响的分析。

核心思路：论文的核心思路是通过分析Aya-23-8B模型在不同多语言任务中的神经元激活模式，来推断其内部的语言表征方式。通过与单语模型（Llama 3和Chinese-LLaMA-2）进行对比，揭示多语言训练对模型内部结构的影响。重点关注翻译过程中激活的语言表征、代码混合输入的处理方式以及特定语言神经元的分布。

技术框架：论文采用以下技术框架： 1. 模型选择：选择Aya-23-8B作为研究对象，因为它是在平衡的多语言数据上训练的decoder-only LLM。 2. 任务设计：设计了代码混合、完形填空和翻译任务，以评估模型的多语言处理能力。 3. 分析方法：使用logit lens和神经元特化分析方法，研究模型在不同任务中的神经元激活模式。 4. 对比实验：将Aya-23-8B与单语模型Llama 3和Chinese-LLaMA-2进行对比，以揭示多语言训练的影响。 5. 神经元重叠分析：分析不同模型中神经元的重叠情况，以研究脚本相似性和类型学关系对处理的影响。

关键创新：论文的关键创新点在于： 1. 揭示了Aya-23在翻译过程中激活类型学上相关的语言表征，这与依赖单一枢轴语言的以英语为中心的模型不同。 2. 发现代码混合神经元激活模式受混合率和基础语言的影响。 3. 发现Aya-23用于代码混合输入的特定语言神经元集中在最后几层，这与之前关于decoder-only模型的研究结果不同。

关键设计：论文的关键设计包括： 1. 平衡的多语言训练数据：Aya-23-8B是在平衡的多语言数据上训练的，这使得它能够更好地学习不同语言之间的关系。 2. logit lens分析：使用logit lens分析方法来研究模型在不同任务中的神经元激活模式。 3. 神经元特化分析：使用神经元特化分析方法来识别特定语言的神经元。 4. 神经元重叠分析：使用神经元重叠分析方法来研究不同模型中神经元的重叠情况。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究发现Aya-23在翻译时激活类型学相关的语言表征，与单语模型依赖单一枢轴语言不同。代码混合神经元激活受混合率和基础语言影响。Aya-23的代码混合特定语言神经元集中在最后几层，与之前的研究不同。神经元重叠分析表明脚本相似性和类型学关系影响模型处理。

🎯 应用场景

该研究成果可应用于改进多语言机器翻译系统，提升代码混合场景下的语言理解能力，并为跨语言迁移学习提供理论指导。通过理解LLM内部的语言表征，可以更好地设计多语言模型，提高其在各种多语言任务中的性能。此外，该研究还有助于开发更高效的跨语言知识迁移方法，从而降低训练多语言模型的成本。

📄 摘要（原文）

Large language models (LLMs) excel at multilingual tasks, yet their internal language processing remains poorly understood. We analyze how Aya-23-8B, a decoder-only LLM trained on balanced multilingual data, handles code-mixed, cloze, and translation tasks compared to predominantly monolingual models like Llama 3 and Chinese-LLaMA-2. Using logit lens and neuron specialization analyses, we find: (1) Aya-23 activates typologically related language representations during translation, unlike English-centric models that rely on a single pivot language; (2) code-mixed neuron activation patterns vary with mixing rates and are shaped more by the base language than the mixed-in one; and (3) Aya-23's languagespecific neurons for code-mixed inputs concentrate in final layers, diverging from prior findings on decoder-only models. Neuron overlap analysis further shows that script similarity and typological relations impact processing across model types. These findings reveal how multilingual training shapes LLM internals and inform future cross-lingual transfer research.