Enhancing Arabic Automated Essay Scoring with Synthetic Data and Error Injection

📄 arXiv: 2503.17739v2 📥 PDF

作者: Chatrine Qwaider, Bashar Alhafni, Kirill Chirkunov, Nizar Habash, Ted Briscoe

分类: cs.CL

发布日期: 2025-03-22 (更新: 2025-06-10)

💡 一句话要点

利用合成数据和错误注入增强阿拉伯语自动作文评分系统

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动作文评分 阿拉伯语 合成数据 大型语言模型 错误注入

📋 核心要点

  1. 阿拉伯语自动作文评分系统面临缺乏带标注数据集的挑战，限制了其发展和应用。
  2. 利用大型语言模型生成合成阿拉伯语作文，并通过错误注入方法模拟真实作文中的错误，构建训练数据集。
  3. 实验结果表明，使用合成数据集能够有效提升基于BERT的阿拉伯语自动作文评分系统的性能。

📝 摘要（中文）

自动作文评分(AES)在评估语言学习者的写作质量、减少评分工作量和提供实时反馈方面起着关键作用。缺乏带注释的作文数据集阻碍了阿拉伯语AES系统的发展。本文利用大型语言模型(LLMs)和Transformer模型生成用于AES的合成阿拉伯语作文。我们提示LLM生成符合欧洲共同语言参考框架(CEFR)各熟练程度等级的作文，并引入和比较两种错误注入方法。我们创建了一个包含3,040篇带注释的作文数据集，这些作文使用我们的两种方法注入了错误。此外，我们开发了一个基于BERT的、校准到CEFR等级的阿拉伯语AES系统。我们的实验结果表明，我们的合成数据集在提高阿拉伯语AES性能方面是有效的。我们将公开我们的代码和数据。

🔬 方法详解

问题定义：阿拉伯语自动作文评分（AES）系统缺乏足够的标注数据，这限制了其性能和泛化能力。现有方法难以获取大规模高质量的阿拉伯语作文数据集，标注成本高昂，且真实作文数据可能存在偏差。

核心思路：利用大型语言模型（LLMs）生成合成的阿拉伯语作文，并采用错误注入技术模拟真实作文中常见的语法、拼写等错误，从而构建一个大规模、多样化的训练数据集。这种方法降低了数据获取成本，并能控制数据的分布和质量。

技术框架：该方法主要包含以下几个阶段：1) 使用LLM生成不同CEFR等级的阿拉伯语作文；2) 采用两种错误注入方法（具体细节见关键设计）向生成的作文中注入错误；3) 使用包含真实数据和合成数据的混合数据集训练基于BERT的阿拉伯语AES系统；4) 评估AES系统在真实数据集上的性能。

关键创新：该论文的关键创新在于：1) 利用LLM生成合成数据，解决了阿拉伯语AES领域数据稀缺的问题；2) 提出了两种错误注入方法，能够有效地模拟真实作文中的错误，提高合成数据的真实性和有效性；3) 将合成数据与真实数据结合，显著提升了阿拉伯语AES系统的性能。

关键设计：论文提出了两种错误注入方法：1) 基于规则的错误注入：根据阿拉伯语的语法规则和常见错误类型，随机选择单词或短语进行替换、删除或插入；2) 基于模型的错误注入：使用预训练的语言模型预测作文中可能出现的错误，并根据预测结果进行修改。此外，论文还使用了BERT模型作为AES系统的基础模型，并针对CEFR等级进行了校准。具体的损失函数和网络结构细节未在摘要中明确说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用合成数据集训练的阿拉伯语AES系统在真实数据集上的性能得到了显著提升。具体提升幅度未在摘要中给出，属于未知信息。该研究验证了利用合成数据增强低资源语言自动作文评分系统的有效性，为相关领域的研究提供了新的思路。

🎯 应用场景

该研究成果可应用于阿拉伯语学习和教育领域，为学生提供自动化的作文评分和反馈，减轻教师的评分负担。此外，该方法也可推广到其他低资源语言的自动作文评分任务中，具有广泛的应用前景。未来，可以进一步研究更有效的错误注入方法，提高合成数据的质量，并探索更先进的深度学习模型，提升AES系统的性能。

📄 摘要（原文）

Automated Essay Scoring (AES) plays a crucial role in assessing language learners' writing quality, reducing grading workload, and providing real-time feedback. The lack of annotated essay datasets inhibits the development of Arabic AES systems. This paper leverages Large Language Models (LLMs) and Transformer models to generate synthetic Arabic essays for AES. We prompt an LLM to generate essays across the Common European Framework of Reference (CEFR) proficiency levels and introduce and compare two approaches to error injection. We create a dataset of 3,040 annotated essays with errors injected using our two methods. Additionally, we develop a BERT-based Arabic AES system calibrated to CEFR levels. Our experimental results demonstrate the effectiveness of our synthetic dataset in improving Arabic AES performance. We make our code and data publicly available.