Benchmarking Large Language Models for Detecting Satirical Code-Mixed Sentences
作者: Răzvan-Alexandru Smădu, Ioana Buhnila, Daniela Tanase, Dumitru-Clementin Cercel, Florin Pop, Mihaela-Claudia Cercel
分类: cs.CL
发布日期: 2026-10-21
备注: 35 pages, 8 figures
💡 一句话要点
提出合成代码混合句子的方法以提升讽刺检测能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 代码切换 讽刺检测 合成数据 多语言模型 自然语言处理 机器学习 数据增强
📋 核心要点
- 现有的自然语言处理模型在处理代码切换现象时表现不佳，尤其是在讽刺检测任务中。
- 本文提出了四种生成合成代码混合句子的方法，并扩展了现有数据集，以提高模型的检测能力。
- 实验结果表明，新模型在零样本和微调条件下的表现显著提升，Gemma 4 31B模型在多个任务中超越了基线模型。
📝 摘要（中文）
代码切换是一种自然的语言现象，但在资源匮乏的语言（如罗马尼亚语）中，其对高层次推理任务的影响仍未得到充分探索。讽刺检测等自然语言处理任务依赖于微妙的文化和句法线索，而大型语言模型在捕捉这些线索方面存在困难。本文研究了四种生成合成代码混合罗马尼亚句子的方法，并在现有的讽刺检测数据集基础上扩展了超过60万条样本。通过对多种多语言大型语言模型的评估，发现新模型在零样本和微调条件下的表现显著优于旧模型，尤其在格式错误减少和结果提升方面表现突出。
🔬 方法详解
问题定义：本文旨在解决在讽刺检测任务中，现有大型语言模型对代码切换现象的处理不足，尤其是在资源匮乏的语言环境下。现有方法在捕捉文化和句法线索方面存在显著挑战。
核心思路：论文提出通过生成合成代码混合句子来增强模型的训练数据，以提高其在讽刺检测任务中的表现。通过引入多种语言的代码混合，丰富了模型的输入特征。
技术框架：研究采用了四种方法生成合成句子，包括随机替换、短语翻译、依赖解析和大型语言模型。首先，基于现有数据集生成600k条合成数据，然后在多个模型上进行评估。
关键创新：最重要的创新在于通过合成数据的生成和多模型评估，揭示了新模型在处理代码切换时的优势，尤其是Gemma 4 31B模型在零样本和微调条件下的表现。
关键设计：在实验中，采用了不同的模型架构和训练策略，特别是在微调过程中，显著减少了格式错误并提升了模型的整体性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Gemma 4 31B模型在零样本条件下达到了68.1%的宏F1分数，而经过微调后在合成数据集上提升至77.5%，在金标准上达到了72.6%。相比之下，旧模型的宏F1分数降至37%-55%，显示出新模型的显著优势。
🎯 应用场景
该研究的潜在应用领域包括社交媒体内容分析、新闻报道的讽刺检测以及多语言环境下的自然语言处理任务。通过提升模型对代码切换的理解能力，可以更好地服务于多文化背景下的语言应用，具有重要的实际价值和社会影响。
📄 摘要（原文）
Code-switching is a natural linguistic phenomenon, yet its impact on high-level reasoning tasks remains largely unexplored in under-resourced languages like Romanian. Natural language processing tasks, such as satire detection, rely heavily on nuanced cultural and syntactic cues that large language models struggle to capture. In this paper, we investigate four methods (i.e., random replacement, phrase translation, dependency parsing, and large language models) for generating synthetic code-mixed Romanian sentences with English, German, French, and Italian. We start with an existing dataset for satire detection, compiled from Romanian news articles and annotated at the sentence level by humans, and augment it with over 600k samples, namely CS-SeLeRoSa. We provide an in-depth analysis of the dataset generation process. Then, we evaluate several multilingual large language models across zero-shot, chain-of-thought, and fine-tuning regimes on both the synthetic corpus and a human-adjudicated gold benchmark, namely CS-SeLeRoSa-Gold. While older open models suffer substantial degradation (dropping to 37%-55% macro-F1), newer models like Gemma 4 31B achieve 68.1% zero-shot, rivaling frontier models like GPT-5 mini (69.5%). Furthermore, fine-tuning significantly reduces formatting errors and improves the results, increasing Gemma 4 31B to 77.5% on CS-SeLeRoSa and 72.6% on the gold standard, outperforming frontier zero-shot baselines.