Irony Detection in Urdu Text: A Comparative Study Using Machine Learning Models and Large Language Models

📄 arXiv: 2510.22356v1 📥 PDF

作者: Fiaz Ahmad, Nisar Hussain, Amna Qasim, Momina Hafeez, Muhammad Usman Grigori Sidorov, Alexander Gelbukh

分类: cs.CL

发布日期: 2025-10-25

备注: 5 pages, 3 figuers

💡 一句话要点

利用机器和大型语言模型，解决乌尔都语文本中的反讽检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 反讽检测 乌尔都语 机器学习 大型语言模型 Transformer模型

📋 核心要点

  1. 现有反讽检测方法在处理乌尔都语等低资源语言时，面临语法和文化差异带来的挑战。
  2. 论文核心思想是将英文反讽语料库翻译成乌尔都语，并结合机器学习和大型语言模型进行反讽检测。
  3. 实验结果表明，LLaMA 3 (8B)模型在乌尔都语反讽检测中表现最佳，F1值达到94.61%。

📝 摘要（中文）

反讽识别是自然语言处理中一项具有挑战性的任务，尤其是在处理语法和文化背景不同的语言时。本文旨在通过将英语反讽语料库翻译成乌尔都语来检测乌尔都语中的反讽。我们评估了十种最先进的机器学习算法，使用了GloVe和Word2Vec嵌入，并将它们的性能与经典方法进行了比较。此外，我们还对基于Transformer的高级模型进行了微调，包括BERT、RoBERTa、LLaMA 2 (7B)、LLaMA 3 (8B)和Mistral，以评估大规模模型在反讽检测中的有效性。在机器学习模型中，Gradient Boosting取得了最佳性能，F1得分为89.18%。在基于Transformer的模型中，LLaMA 3 (8B)取得了最高的性能，F1得分为94.61%。这些结果表明，将音译技术与现代NLP模型相结合，能够对乌尔都语（一种历史上资源匮乏的语言）进行稳健的反讽检测。

🔬 方法详解

问题定义：论文旨在解决乌尔都语文本中的反讽检测问题。现有方法在处理乌尔都语这种低资源语言时，由于缺乏足够的标注数据和语言特性差异，导致反讽检测效果不佳。现有方法难以有效捕捉乌尔都语中蕴含的文化背景和语境信息，从而影响反讽识别的准确性。

核心思路：论文的核心思路是将英文反讽语料库翻译成乌尔都语，以此扩充乌尔都语反讽检测的数据集。同时，结合传统的机器学习方法和先进的Transformer模型，充分利用不同模型的优势，提高反讽检测的准确性和鲁棒性。通过比较不同模型的性能，找到最适合乌尔都语反讽检测的模型。

技术框架：整体框架包括数据准备、模型训练和性能评估三个主要阶段。首先，将英文反讽语料库翻译成乌尔都语，并进行数据清洗和预处理。然后，分别使用机器学习算法（如Gradient Boosting）和Transformer模型（如BERT、RoBERTa、LLaMA 2、LLaMA 3、Mistral）进行训练。最后，使用F1-score等指标评估模型的性能，并进行比较分析。

关键创新：该论文的关键创新在于将音译技术与现代NLP模型相结合，应用于乌尔都语反讽检测。通过翻译英文语料库，有效缓解了乌尔都语数据稀缺的问题。同时，对比了多种机器学习和大型语言模型在乌尔都语反讽检测中的性能，为后续研究提供了参考。

关键设计：在数据准备阶段，采用了高质量的翻译方法，确保翻译后的乌尔都语文本能够准确表达原文的含义。在模型训练阶段，对Transformer模型进行了微调，使其更好地适应乌尔都语的语言特性。在性能评估阶段，使用了F1-score作为主要评价指标，综合考虑了精确率和召回率。对于LLaMA系列模型，采用了7B和8B两种不同参数规模的模型，以评估模型规模对性能的影响。

📊 实验亮点

实验结果表明，Gradient Boosting在机器学习模型中表现最佳，F1得分为89.18%。LLaMA 3 (8B)在Transformer模型中表现最优，F1得分为94.61%，显著优于其他模型。这表明大型语言模型在乌尔都语反讽检测中具有强大的潜力，结合音译技术能够有效提升性能。

🎯 应用场景

该研究成果可应用于社交媒体情感分析、舆情监控、智能客服等领域。准确识别乌尔都语文本中的反讽能够提升机器理解用户意图的能力，从而提供更精准的服务。未来，该技术可进一步扩展到其他低资源语言的反讽检测，促进跨语言自然语言处理的发展。

📄 摘要（原文）

Ironic identification is a challenging task in Natural Language Processing, particularly when dealing with languages that differ in syntax and cultural context. In this work, we aim to detect irony in Urdu by translating an English Ironic Corpus into the Urdu language. We evaluate ten state-of-the-art machine learning algorithms using GloVe and Word2Vec embeddings, and compare their performance with classical methods. Additionally, we fine-tune advanced transformer-based models, including BERT, RoBERTa, LLaMA 2 (7B), LLaMA 3 (8B), and Mistral, to assess the effectiveness of large-scale models in irony detection. Among machine learning models, Gradient Boosting achieved the best performance with an F1-score of 89.18%. Among transformer-based models, LLaMA 3 (8B) achieved the highest performance with an F1-score of 94.61%. These results demonstrate that combining transliteration techniques with modern NLP models enables robust irony detection in Urdu, a historically low-resource language.