ArGuard Shared Task: Harmful Content Detection in Arabic Memes and LLM Prompts

📄 arXiv: 2609.29349v1 📥 PDF

作者: Firoj Alam, Md. Rafiul Biswas, Mohamed Bayan Kmainasi, Ali Ezzat Shahroor, Hamdy Mubarak, George Mikros, Abul Hasnat, Wajdi Zaghouani

分类: cs.CL, cs.AI

发布日期: 2026-09-24

💡 一句话要点

提出ArGuard任务以解决阿拉伯语表情包和LLM提示中的有害内容检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 有害内容检测 阿拉伯语表情包 LLM安全评估 多模态仇恨检测 深度学习模型

📋 核心要点

  1. 现有方法在阿拉伯语表情包和LLM提示的有害内容检测中面临多模态信息融合和标签稀疏等挑战。
  2. 论文通过设置两个轨道，分别针对表情包和提示内容的有害性进行检测，采用多种先进模型进行探索。
  3. 实验结果显示，最佳系统在不同任务上取得了显著的宏F1分数，尤其在表情包检测中表现出色。

📝 摘要（中文）

ArGuard是一个针对阿拉伯语表情包和LLM提示中有害内容检测的共享任务。该任务包括两个轨道：轨道A专注于阿拉伯语表情包中的多模态仇恨检测，而轨道B则针对阿拉伯语LLM的安全评估进行有害提示检测。共有58个团队注册，35个团队参与最终评估，27个团队提交了系统描述论文。参与团队探索了AraBERT、Jais和Qwen3-VL等模型。最佳系统在A1、A2、B1和B2上分别达到了0.823、0.419、0.984和0.790的宏F1分数。A2中的细粒度表情包分类是最具挑战性的设置，部分原因是标签稀疏和训练-测试分布的变化。

🔬 方法详解

问题定义：本论文旨在解决阿拉伯语表情包和LLM提示中的有害内容检测问题。现有方法在多模态信息融合和标签稀疏方面存在不足，导致检测效果不理想。

核心思路：论文通过设置两个独立的轨道，分别针对表情包的多模态仇恨检测和LLM提示的有害内容检测，采用先进的深度学习模型进行探索，以提高检测准确性。

技术框架：整体架构包括数据收集、模型训练和评估三个主要阶段。轨道A和轨道B各自使用不同的数据集和模型进行训练和评估。

关键创新：最重要的技术创新在于针对阿拉伯语表情包和LLM提示的特定任务设计了两个独立的检测轨道，增强了模型的适应性和准确性。

关键设计：在模型选择上，参与团队使用了AraBERT、Jais和Qwen3-VL等多种模型，并在训练过程中采用了适应性损失函数和数据增强策略，以应对标签稀疏和分布变化的问题。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，最佳系统在轨道A1上达到了0.823的宏F1分数，在A2上为0.419，而在轨道B1和B2上分别达到了0.984和0.790。这些结果表明，参与团队在多模态仇恨检测和有害提示检测方面取得了显著的进展，尤其在表情包检测任务中表现突出。

🎯 应用场景

该研究的潜在应用领域包括社交媒体内容审核、在线社区管理和自动化内容过滤等。通过有效检测有害内容，可以提高阿拉伯语网络环境的安全性，保护用户免受仇恨言论和不当内容的影响，具有重要的社会价值和实际意义。

📄 摘要（原文）

ArGuard is a shared task on harmful content detection in Arabic memes and LLM prompts. It includes two tracks: Track A focuses on multimodal hate detection in Arabic memes, while Track B addresses harmful prompt detection for Arabic LLM safety evaluation. In total, 58 teams registered, 35 participated in the final evaluation, and 27 submitted system-description papers. Participating teams explored models such as AraBERT, Jais, and Qwen3-VL. The best systems achieved macro-F1 scores of 0.823 on A1, 0.419 on A2, 0.984 on B1, and 0.790 on B2. Fine-grained meme classification in A2 was the most challenging setting, partly due to sparse labels and train-test distribution shifts.