YallaMorph: A Benchmark for Evaluating Arabic Morphological Generation in Large Language Models
作者: Mahmoud Reda, Salam Khalifa, Reham Marzouk, Nizar Habash
分类: cs.CL
发布日期: 2026-09-09
备注: Accepted to EMNLP 2026
💡 一句话要点
提出YallaMorph基准以评估阿拉伯语形态生成问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 阿拉伯语形态学 语言模型 基准评估 自然语言处理 机器学习
📋 核心要点
- 阿拉伯语形态生成的准确性在大型语言模型中仍然存在挑战，现有方法未能有效控制形态句法。
- YallaMorph基准通过覆盖多种词类及其变体，提供了对阿拉伯语形态生成的直接评估。
- 实验结果表明，阿拉伯语形态生成仍然困难，尤其是在处理附加形式和稀有形式时表现不佳。
📝 摘要（中文）
阿拉伯语形态学对大型语言模型仍然具有挑战性，因为流利的生成并不保证准确的形态句法控制。现有的阿拉伯语评估主要针对下游任务，未能直接测试基于显式词汇和特征输入的受控形态生成。我们引入YallaMorph，这是一个大规模的阿拉伯语形态生成基准，涵盖动词、名词、形容词及其附加形式和无效配置。我们在600K基准条目上评估了多语言和阿拉伯语导向的LLM，结果显示阿拉伯语形态生成仍然困难，尤其是对于附加形式、未见形式和形态稀有形式。
🔬 方法详解
问题定义：论文旨在解决阿拉伯语形态生成的准确性问题，现有方法在控制形态句法方面存在不足，尤其是在处理附加形式和未见形式时。
核心思路：论文提出YallaMorph基准，通过系统评估阿拉伯语的形态生成能力，特别是针对不同词类和变体的生成，来填补现有评估的空白。
技术框架：YallaMorph基准涵盖动词、名词、形容词及其附加形式，包含600K条目，评估多语言和阿拉伯语导向的LLM，分为带有和不带有元音符号的设置。
关键创新：YallaMorph是首个专注于阿拉伯语形态生成的基准，直接测试从显式词汇和特征输入生成的能力，与现有的主要针对下游任务的评估方法有本质区别。
关键设计：在基准设计中，考虑了多种词类和变体的组合，确保覆盖了常见和稀有的形态形式，同时设置了适当的评估标准以衡量生成的准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，阿拉伯语形态生成在处理附加形式和稀有形式时的准确性仍然较低，尤其是在未见形式的生成上，表现出明显的困难。具体性能数据表明，现有多语言和阿拉伯语导向的LLM在600K基准条目上的生成能力存在显著提升空间。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、机器翻译和对话系统等，能够帮助改进阿拉伯语相关的语言模型性能，提升其在实际应用中的表现。未来，YallaMorph基准可能成为阿拉伯语形态生成研究的标准工具，推动相关技术的发展。
📄 摘要（原文）
Arabic morphology remains challenging for large language models, since fluent generation does not guarantee accurate morphosyntactic control. Existing Arabic evaluations mainly target downstream tasks and do not directly test controlled morphological generation from explicit lexical and feature-based input. We introduce YallaMorph, a large-scale benchmark for Arabic morphological generation covering verbs, nouns, adjectives, their cliticized forms, and invalid configurations. We evaluate multilingual and Arabic-oriented LLMs under diacritized and undiacritized settings over 600K benchmark entries. Results show that Arabic morphological generation remains difficult, especially for cliticized, unseen, and morphologically rare forms.