Subasa - Adapting Language Models for Low-resourced Offensive Language Detection in Sinhala

📄 arXiv: 2504.02178v1 📥 PDF

作者: Shanilka Haturusinghe, Tharindu Cyril Weerasooriya, Marcos Zampieri, Christopher M. Homan, S. R. Liyanage

分类: cs.CL

发布日期: 2025-04-02

备注: Accepted to appear at NAACL SRW 2025

💡 一句话要点

Subasa：为僧伽罗语低资源环境下的冒犯性语言检测微调语言模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 冒犯性语言检测 低资源语言 僧伽罗语 预训练语言模型 微调 掩码理由预测 社交媒体安全

📋 核心要点

  1. 低资源语言的冒犯性语言检测面临数据稀缺和模型泛化能力不足的挑战。
  2. 论文提出Subasa系列模型，通过中间预微调和任务特定微调策略，有效提升模型性能。
  3. 实验表明，Subasa模型在僧伽罗语SOLD数据集上显著优于现有基线，甚至超越了GPT-4o。

📝 摘要（中文）

准确检测冒犯性语言对于社交媒体安全至关重要。低资源语言和高资源语言在此任务上的表现存在显著差异。本文针对僧伽罗语，探索了之前未曾使用过的微调策略，用于冒犯性语言检测这一下游任务。基于此，我们提出了四个模型：“Subasa-XLM-R”，它结合了使用掩码理由预测的中间预微调步骤；“Subasa-Llama”和“Subasa-Mistral”的两个变体，分别是Llama (3.2)和Mistral (v0.3)的微调版本，采用了特定于任务的策略。我们在SOLD基准数据集上评估了我们的模型，用于僧伽罗语冒犯性语言检测。所有模型都优于现有基线。Subasa-XLM-R实现了最高的Macro F1分数（0.84），超过了在相同SOLD基准数据集上以零样本设置评估的GPT-4o等最先进的大型语言模型。模型和代码均已公开。

🔬 方法详解

问题定义：论文旨在解决僧伽罗语等低资源语言中冒犯性语言检测的难题。现有方法在低资源场景下表现不佳，缺乏针对性优化，难以有效识别冒犯性内容。

核心思路：论文的核心思路是利用预训练语言模型，并结合中间预微调和任务特定微调策略，使模型更好地适应僧伽罗语的特点和冒犯性语言检测任务的需求。通过预微调，模型可以学习到更丰富的语言知识，从而提高泛化能力。

技术框架：整体框架包括三个主要阶段：1) 选择合适的预训练语言模型（XLM-R, Llama, Mistral）；2) 对于Subasa-XLM-R，进行中间预微调，使用掩码理由预测（Masked Rationale Prediction）任务，增强模型对文本语义的理解；3) 对所有模型进行任务特定微调，使用僧伽罗语冒犯性语言检测数据集SOLD，优化模型在目标任务上的表现。

关键创新：论文的关键创新在于针对低资源语言，探索了有效的微调策略组合，包括中间预微调和任务特定微调。特别是，Subasa-XLM-R模型引入的掩码理由预测方法，能够帮助模型更好地理解文本中的冒犯性线索。此外，针对Llama和Mistral模型的微调也探索了特定任务的优化策略。

关键设计：Subasa-XLM-R的中间预微调阶段，使用了掩码理由预测任务，具体实现细节未知。任务特定微调阶段，使用了SOLD数据集，并针对不同模型采用了不同的超参数设置，具体参数设置未知。损失函数选择方面，可能使用了交叉熵损失函数，但论文中没有明确说明。

📊 实验亮点

Subasa-XLM-R在僧伽罗语SOLD数据集上取得了0.84的Macro F1分数，显著优于现有基线模型，甚至超越了零样本设置下的GPT-4o。这表明，通过有效的微调策略，预训练语言模型能够在低资源语言的冒犯性语言检测任务中取得优异表现。Subasa-Llama和Subasa-Mistral也取得了不错的成绩，证明了该方法的有效性。

🎯 应用场景

该研究成果可应用于社交媒体平台的内容审核，自动过滤僧伽罗语中的冒犯性言论，维护网络社区的健康环境。此外，该方法也可推广到其他低资源语言的冒犯性语言检测任务中，具有广泛的应用前景。未来，可以进一步研究如何利用主动学习、数据增强等技术，提升低资源语言冒犯性语言检测的性能。

📄 摘要（原文）

Accurate detection of offensive language is essential for a number of applications related to social media safety. There is a sharp contrast in performance in this task between low and high-resource languages. In this paper, we adapt fine-tuning strategies that have not been previously explored for Sinhala in the downstream task of offensive language detection. Using this approach, we introduce four models: "Subasa-XLM-R", which incorporates an intermediate Pre-Finetuning step using Masked Rationale Prediction. Two variants of "Subasa-Llama" and "Subasa-Mistral", are fine-tuned versions of Llama (3.2) and Mistral (v0.3), respectively, with a task-specific strategy. We evaluate our models on the SOLD benchmark dataset for Sinhala offensive language detection. All our models outperform existing baselines. Subasa-XLM-R achieves the highest Macro F1 score (0.84) surpassing state-of-the-art large language models like GPT-4o when evaluated on the same SOLD benchmark dataset under zero-shot settings. The models and code are publicly available.