AI-Generated Text Detection in Low-Resource Languages: A Case Study on Urdu

📄 arXiv: 2510.16573v1 📥 PDF

作者: Muhammad Ammar, Hadiya Murad Hadi, Usman Majeed Butt

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-10-18

💡 一句话要点

针对乌尔都语，提出AI生成文本检测框架，有效识别机器生成内容。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: AI生成文本检测 乌尔都语 低资源语言 Transformer模型 mDeBERTa-v3-base

📋 核心要点

  1. 现有AI生成文本检测工具在乌尔都语等低资源语言中匮乏，难以有效识别机器生成内容。
  2. 提出针对乌尔都语的AI生成文本检测框架，利用语言特征和Transformer模型进行识别。
  3. 实验表明，微调后的mDeBERTa-v3-base模型在乌尔都语AI生成文本检测上取得了显著效果。

📝 摘要（中文）

大型语言模型(LLMs)现在能够生成与人类写作非常相似的文本，使其成为强大的内容创建工具，但这种日益增长的能力也使得区分文本是由人类还是机器编写变得更加困难。对于像乌尔都语这样的语言，由于可用于检测AI生成文本的工具非常少，这一挑战变得更加严峻。为了解决这一差距，我们提出了一种专门为乌尔都语量身定制的AI生成文本检测框架。我们开发了一个平衡的数据集，包含1800篇人类撰写的文本和1800篇AI生成的文本，这些文本来源于Gemini、GPT-4o-mini和Kimi AI等模型。我们进行了详细的语言和统计分析，重点关注字符和单词计数、词汇丰富度(类型-标记比率)和N-gram模式等特征，并通过t检验和MannWhitney U检验评估其显著性。我们在该数据集上微调了mdeberta-v3-base、distilbert-base-multilingualcased和xlm-roberta-base等三种最先进的多语言Transformer模型。mDeBERTa-v3-base取得了最高的性能，在测试集上的F1分数为91.29，准确率为91.26%。这项研究推进了在乌尔都语社区对抗虚假信息和学术不端行为的努力，并有助于低资源语言NLP工具的更广泛发展。

🔬 方法详解

问题定义：论文旨在解决乌尔都语中AI生成文本检测的难题。现有方法在低资源语言上的表现不佳，缺乏针对乌尔都语的有效检测工具，使得虚假信息和学术不端行为难以被识别和控制。

核心思路：论文的核心思路是结合语言特征分析和Transformer模型微调，构建一个专门针对乌尔都语的AI生成文本检测系统。通过分析文本的统计特征和语言模式，并利用Transformer模型强大的文本理解能力，实现对AI生成文本的准确识别。

技术框架：该框架主要包括以下几个阶段：1) 构建平衡的数据集，包含人工撰写和AI生成的乌尔都语文本；2) 对数据集进行语言和统计分析，提取字符和单词计数、词汇丰富度、N-gram模式等特征；3) 选择并微调mdeberta-v3-base、distilbert-base-multilingualcased和xlm-roberta-base等Transformer模型；4) 在测试集上评估模型的性能，选择最优模型。

关键创新：该论文的关键创新在于针对乌尔都语这一低资源语言，构建了专门的AI生成文本检测框架。通过结合语言特征分析和Transformer模型微调，有效提高了AI生成文本的识别准确率。

关键设计：论文的关键设计包括：1) 构建平衡的数据集，保证人工撰写和AI生成文本的比例一致；2) 选择mdeberta-v3-base作为主要模型，并进行微调；3) 使用F1-score和准确率作为评估指标。

📊 实验亮点

实验结果表明，微调后的mDeBERTa-v3-base模型在乌尔都语AI生成文本检测任务上表现出色，F1分数为91.29%，准确率为91.26%。该模型显著优于其他基线模型，证明了该方法的有效性。

🎯 应用场景

该研究成果可应用于乌尔都语社区的内容审核、学术诚信检测、虚假信息识别等领域。有助于提高乌尔都语网络环境的健康度，减少AI生成内容带来的负面影响，并为其他低资源语言的AI生成文本检测提供借鉴。

📄 摘要（原文）

Large Language Models (LLMs) are now capable of generating text that closely resembles human writing, making them powerful tools for content creation, but this growing ability has also made it harder to tell whether a piece of text was written by a human or by a machine. This challenge becomes even more serious for languages like Urdu, where there are very few tools available to detect AI-generated text. To address this gap, we propose a novel AI-generated text detection framework tailored for the Urdu language. A balanced dataset comprising 1,800 humans authored, and 1,800 AI generated texts, sourced from models such as Gemini, GPT-4o-mini, and Kimi AI was developed. Detailed linguistic and statistical analysis was conducted, focusing on features such as character and word counts, vocabulary richness (Type Token Ratio), and N-gram patterns, with significance evaluated through t-tests and MannWhitney U tests. Three state-of-the-art multilingual transformer models such as mdeberta-v3-base, distilbert-base-multilingualcased, and xlm-roberta-base were fine-tuned on this dataset. The mDeBERTa-v3-base achieved the highest performance, with an F1-score 91.29 and accuracy of 91.26% on the test set. This research advances efforts in contesting misinformation and academic misconduct in Urdu-speaking communities and contributes to the broader development of NLP tools for low resource languages.