Does Modern Standard Arabic (MSA) Dominate Arabic Dialects in LLMs? A Representation-Level Analysis

📄 arXiv: 2610.11510v1 📥 PDF

作者: Abdu Sallouh, Nicholas Popovič, Michael Färber

分类: cs.CL

发布日期: 2026-10-08

备注: EMNLP 2026

💡 一句话要点

提出语言主导框架分析阿拉伯方言与现代标准阿拉伯语的关系

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 阿拉伯方言 现代标准阿拉伯语 语言主导框架 内部表示 生成偏差 多语言处理

📋 核心要点

  1. 现有大型语言模型在生成阿拉伯语时常常偏向现代标准阿拉伯语，缺乏对方言的有效支持。
  2. 本文通过适应语言主导框架，分析26种阿拉伯方言的内部表示，验证MSA是否主导方言表示。
  3. 实验结果显示，方言表示形成重叠空间，且可分离性效应在不同层次间变化，挑战了传统理解。

📝 摘要（中文）

大型语言模型（LLMs）在生成阿拉伯语时通常默认使用现代标准阿拉伯语（MSA），即使在提示方言阿拉伯语时也是如此。本文通过适应Shani和Basirat（2025）的语言主导框架，对26种阿拉伯方言进行分析，发现MSA并未在内部表示中占主导地位。相反，方言表示形成了一个密集且高度重叠的空间，归一化互信息显著下降。此外，最强的可分离性效应并不局限于中间层，而是根据架构可能转向后续层。这些发现挑战了对MSA偏向生成的常见解读，输出偏好并不一定揭示内部表示的主导地位，因此在分析多语言和方言LLMs时应区分生成偏差与内部表示几何结构。

🔬 方法详解

问题定义：本文旨在探讨大型语言模型在生成阿拉伯语时，现代标准阿拉伯语（MSA）是否主导方言的内部表示。现有方法未能有效区分生成偏差与内部表示的几何结构。

核心思路：通过适应Shani和Basirat的语言主导框架，分析26种阿拉伯方言的内部表示，验证MSA的主导地位是否成立。

技术框架：研究采用多层次的分析方法，比较不同模型家族和层次的表示，评估方言与MSA之间的相互信息和可分离性。

关键创新：本文的主要创新在于揭示了方言表示的高度重叠性，挑战了MSA主导的传统观点，提出生成偏好与内部表示几何结构的区分。

关键设计：研究中使用了归一化互信息作为评估指标，分析了不同层次的表示特征，重点关注可分离性效应的变化。实验设计考虑了多种模型架构，以确保结果的广泛适用性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，方言表示的归一化互信息显著低于更为明显的语言，且可分离性效应在不同层次间的转移，表明MSA并未在内部表示中占主导地位。这一发现对理解语言模型的生成偏差具有重要意义。

🎯 应用场景

该研究为多语言和方言的自然语言处理提供了新的视角，尤其在阿拉伯语生成任务中，能够帮助开发更具方言适应性的语言模型。未来，这一研究成果可能推动对其他语言和方言的类似分析，促进跨语言模型的公平性和有效性。

📄 摘要（原文）

Large language models (LLMs) often default to Modern Standard Arabic (MSA) when generating Arabic, even when prompted with dialectal Arabic. A natural explanation is that their internal representations are dominated by MSA. We test this hypothesis by adapting the language-dominance framework of Shani and Basirat (2025) (https://doi.org/10.18653/v1/2025.blackboxnlp-1.7) to 26 Arabic varieties. Across layers and model families, we find no evidence that MSA acts as a dominant internal representation for Arabic dialects. Instead, dialect representations form a dense and highly overlapping space: normalized mutual information drops sharply compared to patterns reported for more distinct languages. Moreover, the strongest separability effects are not confined to intermediate layers, but can shift toward later layers depending on the architecture. These findings challenge a common interpretation of MSA-biased generation: output preference does not necessarily reveal internal representational dominance. Analyses of multilingual and dialectal LLMs should therefore distinguish generation bias from the geometry of internal representations.