Beyond Poetry: Can Large Language Models Generate Classical Arabic Maqamat?
作者: AbdulRahman A. Morsy, Aya Zirikly
分类: cs.CL, cs.AI
发布日期: 2026-09-23
备注: 14 pages
💡 一句话要点
首次评估大型语言模型生成经典阿拉伯maqama的能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 阿拉伯文学 maqama 文本生成 风格评估 修辞分析 自然语言处理
📋 核心要点
- 现有研究主要集中在现代语言和诗歌，经典阿拉伯maqama的生成能力尚未得到充分探讨，存在研究空白。
- 本文通过对五种大型语言模型在生成maqama时的表现进行控制评估，探索不同提示策略对生成质量的影响。
- 实验结果显示，少样本提示显著提高了押韵密度，而零样本提示在综合得分上表现最佳，模型间在风格一致性上存在系统性差异。
📝 摘要（中文）
大型语言模型（LLMs）在创造性文本生成方面表现出色，但其在文化根植和风格约束的文学形式生成能力仍未得到充分探索。以往研究主要集中在现代语言和诗歌上，而经典散文传统如maqama则鲜有研究。maqama是一种以押韵散文、丰富的修辞装饰和情节结构为特征的经典文学体裁，成为评估LLMs是否能够超越表面流畅性、达到更深层次文学能力的挑战性测试平台。本文首次对LLMs生成maqama进行了控制评估研究，比较了五种模型在零样本、少样本和基于规则的提示下的表现，并通过人工标注和LLM作为评判者的框架在修辞丰富性、押韵密度、结构连贯性和风格真实性等维度上进行评估。结果表明，提示策略对风格质量有显著影响：少样本提示最一致地提高了押韵密度，而对修辞和连贯性的影响因模型而异，最强的模型（GPT-4o和GPT-5.4-mini）在这些维度上最受益于基于规则的提示，尽管零样本提示在所有五个模型中产生了最高的综合得分。
🔬 方法详解
问题定义：本文旨在评估大型语言模型在生成经典阿拉伯maqama方面的能力，现有方法在处理文化根植和风格约束的文学形式时存在不足。
核心思路：通过对五种不同的LLMs进行控制评估，比较零样本、少样本和基于规则的提示策略对生成质量的影响，旨在揭示模型在文学生成中的深层能力。
技术框架：研究包括模型选择、提示策略设计、输出评估等主要模块。首先选择五种LLMs，然后设计不同的提示策略，最后通过人工标注和LLM作为评判者进行输出评估。
关键创新：首次系统性地评估了LLMs生成maqama的能力，并通过多种评估维度揭示了模型在风格一致性和修辞丰富性方面的表现差异。
关键设计：在提示策略中，少样本提示被发现最能提高押韵密度，而零样本提示在综合得分上表现最佳。模型间在修辞和连贯性上的表现差异也被详细分析。
🖼️ 关键图片
📊 实验亮点
实验结果显示，少样本提示在提高押韵密度方面表现显著，而零样本提示在综合得分上优于其他策略。最强模型GPT-4o和GPT-5.4-mini在修辞和连贯性上受益于基于规则的提示，展现出较强的生成能力。
🎯 应用场景
该研究为大型语言模型在生成文化特定文学形式方面的应用提供了新的视角，具有潜在的教育和文化传承价值。未来可扩展至其他经典文学形式的生成，推动自然语言处理领域的进一步发展。
📄 摘要（原文）
Large language models (LLMs) have shown strong performance in creative text generation, yet their ability to produce culturally grounded and stylistically constrained literary forms remains underexplored. Prior work has focused largely on modern language varieties and poetry, while classical prose traditions such as maqama remain largely unstudied. The maqama is a classical literary genre characterized by rhymed prose (saj), dense rhetorical ornamentation, and episodic narrative structure, making it a challenging testbed for evaluating whether LLMs can move beyond surface fluency toward deeper literary competence. In this paper, we present the first controlled evaluation study of maqama generation with LLMs, comparing five models under zero-shot, few-shot, and rule-based prompting, and evaluating outputs through both human annotation and an LLM-as-a-judge framework across dimensions such as rhetorical richness, saj density, structural coherence, and stylistic authenticity. Our results show that prompting strategy plays a strong role in stylistic quality: few-shot prompting most consistently improves saj density, while its effects on rhetoric and coherence vary by model, with the strongest models (GPT-4o and GPT-5.4-mini) benefiting most from rule-based prompting on these dimensions, though zero-shot prompting yields the highest aggregate scores across all five models. We further observe systematic differences between models in stylistic alignment with Arabic maqama conventions, and corroborate our findings with a second independent LLM judge, paired statistical significance testing, and non-LLM proxy measures of saj.