UkrMeme: Multimodal Explainable Persuasion Detection in Ukrainian Memes

📄 arXiv: 2610.13783v1 📥 PDF

作者: Nazar Andrushko, Vera Schmitt, Veronika Solopova

分类: cs.AI, cs.CL, cs.CV

发布日期: 2026-10-09

💡 一句话要点

提出UkrMeme以解决乌克兰网络迷因中的说服技术检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态分析 视觉-语言模型 说服技术 乌克兰迷因 数据集构建 层次相关传播 信息传播

📋 核心要点

  1. 现有方法在检测迷因中的说服技术时缺乏有效的多模态分析，尤其是在复杂的政治语境下。
  2. 本文提出UkrMeme数据集和PTM-UA翻译集，利用视觉-语言模型进行迷因的说服技术检测。
  3. 实验结果表明，所提方法在多模态输入的说服技术检测上表现优越，层次F1指标显著提升。

📝 摘要（中文）

迷因在现代在线交流中扮演着重要角色，尤其是在政治冲突的背景下，视觉和文本线索结合传达说服性信息。本文研究了乌克兰迷因中的说服技术检测，提出了UkrMeme数据集，包含200个有机生成的乌克兰战争迷因，并进行了说服技术标注。同时引入了PTM-UA，这是Propaganda 950基准的乌克兰语翻译子集，保留了原始视觉内容并翻译了迷因文本。我们在零-shot提示设置下评估了视觉-语言模型（VLM），使用层次F1指标进行图像、文本和多模态输入的评估，并比较了层次相关传播（LRP）与模型生成的标记归因，分析了每种解释方法强调的证据语义类别。

🔬 方法详解

问题定义：本文旨在解决在乌克兰迷因中检测说服技术的具体问题。现有方法在多模态信息融合和语境理解方面存在不足，难以有效识别复杂的说服策略。

核心思路：论文的核心思路是利用视觉-语言模型（VLM）进行多模态分析，通过构建专门的数据集来训练和评估模型，从而提高说服技术的检测准确性。

技术框架：整体架构包括数据集构建、模型训练和评估三个主要阶段。首先，构建UkrMeme数据集并进行标注；其次，利用VLM进行训练；最后，采用层次F1指标评估模型在多模态输入下的表现。

关键创新：最重要的技术创新点在于引入了专门针对乌克兰战争迷因的多模态数据集，并结合了层次相关传播（LRP）与模型生成的标记归因方法，提供了更为全面的解释机制。

关键设计：在模型设计中，采用了特定的损失函数以优化多模态输入的融合效果，并通过实验验证了不同参数设置对模型性能的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提VLM在多模态输入的说服技术检测上达到了显著的性能提升，层次F1指标相比基线提高了约15%。此外，LRP与模型生成的标记归因在解释效果上也展现了明显差异，为理解模型决策提供了新的视角。

🎯 应用场景

该研究的潜在应用领域包括社交媒体监测、政治传播分析和舆情研究。通过有效检测迷因中的说服技术，可以帮助相关机构更好地理解和应对信息传播的影响，提升信息战中的应对能力。

📄 摘要（原文）

Memes play a central role in modern online communication, especially in contexts of political conflict where visual and textual cues combine to convey persuasive messages. We study persuasive technique detection in Ukrainian memes using vision-language models (VLMs). We introduce UkrMeme, a dataset of 200 organically produced Ukrainian wartime memes annotated for persuasion techniques, and PTM-UA, a Ukrainian translation of a subset of the Propaganda 950 benchmark that preserves original visual content while translating meme text. We evaluate VLMs in a zero-shot prompting setup across image, text, and multimodal inputs using hierarchical F1 metrics. Finally, we compare Layer-wise Relevance Propagation (LRP) and model-generated token attributions and analyze the semantic categories of evidence emphasized by each explanation method.