Maastricht University at AMIYA: Adapting LLMs for Dialectal Arabic using Fine-tuning and MBR Decoding

📄 arXiv: 2602.09703v1 📥 PDF

作者: Abdulhai Alali, Abderrahmane Issam

分类: cs.CL, cs.AI

发布日期: 2026-02-10

💡 一句话要点

利用LoRA微调和MBR解码，提升LLM在方言阿拉伯语生成和翻译中的性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 方言阿拉伯语 大型语言模型 低秩适应 微调 机器翻译

📋 核心要点

  1. 现有LLM在方言阿拉伯语上的表现不佳，主要原因是训练数据不足和方言之间的语言差异。
  2. 论文提出使用LoRA微调预训练LLM，并结合适配器融合和方言感知的MBR解码来提升方言生成和翻译的质量。
  3. 实验结果表明，该方法在叙利亚、摩洛哥和沙特阿拉伯语上能够有效提高方言保真度，同时保持语义准确性。

📝 摘要（中文）

大型语言模型（LLMs）正变得越来越具有多语言能力，支持数百种语言，尤其是高资源语言。然而，由于数据有限和语言变异，方言变体仍然没有得到充分的代表。本文旨在调整预训练的LLM，以提高其在方言上的性能。具体来说，我们使用低秩适应（LoRA）在单语和英语方言并行数据上进行微调，并结合适配器融合和方言感知的MBR解码，以提高方言保真度生成和翻译。在叙利亚、摩洛哥和沙特阿拉伯语上的实验表明，融合和MBR提高了方言保真度，同时保持了语义准确性。这种组合为鲁棒的方言阿拉伯语生成提供了一个紧凑而有效的框架。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在方言阿拉伯语生成和翻译中表现不佳的问题。现有方法在处理方言时，由于训练数据稀缺和方言变异性大，难以保证生成文本的方言保真度和语义准确性。

核心思路：论文的核心思路是利用预训练语言模型的知识，通过低秩适应（LoRA）微调，使其适应特定的方言。同时，采用适配器融合和方言感知的MBR解码，进一步提升方言保真度。这种方法旨在在有限的方言数据下，充分利用预训练模型的泛化能力，并针对方言特点进行优化。

技术框架：整体框架包括以下几个主要步骤：1) 使用单语和英语-方言并行数据，通过LoRA对预训练LLM进行微调。2) 将多个适配器进行融合，以整合不同方言的信息。3) 在解码阶段，采用方言感知的MBR解码，选择最符合目标方言特征的生成结果。

关键创新：论文的关键创新在于结合了LoRA微调、适配器融合和方言感知的MBR解码。LoRA微调能够高效地调整预训练模型，适配器融合能够整合不同方言的知识，而MBR解码则能够根据方言特征选择最佳生成结果。这种组合方法能够有效提高方言生成和翻译的质量。

关键设计：LoRA微调使用秩分解来减少可训练参数的数量，从而降低计算成本和过拟合风险。适配器融合采用加权平均的方式，根据验证集上的性能确定每个适配器的权重。方言感知的MBR解码使用方言分类器来评估生成结果的方言特征，并选择最符合目标方言的文本。

📊 实验亮点

实验结果表明，该方法在叙利亚、摩洛哥和沙特阿拉伯语上均取得了显著的提升。具体来说，通过LoRA微调、适配器融合和MBR解码的组合，方言保真度得到了有效提高，同时保持了语义准确性。与基线模型相比，该方法在方言生成和翻译任务上均取得了明显的性能提升，证明了其有效性和优越性。

🎯 应用场景

该研究成果可应用于多种场景，例如：方言阿拉伯语的机器翻译、方言语音识别后的文本生成、以及面向特定方言人群的智能客服系统。通过提高LLM在方言上的性能，可以更好地服务于不同地区的阿拉伯语使用者，促进文化交流和信息传播。未来，该方法可以推广到其他低资源语言或方言的处理中。

📄 摘要（原文）

Large Language Models (LLMs) are becoming increasingly multilingual, supporting hundreds of languages, especially high resource ones. Unfortunately, Dialect variations are still underrepresented due to limited data and linguistic variation. In this work, we adapt a pre-trained LLM to improve dialectal performance. Specifically, we use Low Rank Adaptation (LoRA) fine-tuning on monolingual and English Dialect parallel data, adapter merging and dialect-aware MBR decoding to improve dialectal fidelity generation and translation. Experiments on Syrian, Moroccan, and Saudi Arabic show that merging and MBR improve dialectal fidelity while preserving semantic accuracy. This combination provides a compact and effective framework for robust dialectal Arabic generation.