IITK at SemEval-2024 Task 4: Hierarchical Embeddings for Detection of Persuasion Techniques in Memes

📄 arXiv: 2404.04520v1 📥 PDF

作者: Shreenaga Chikoti, Shrey Mehta, Ashutosh Modi

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-04-06

备注: Accepted at SemEval 2024, NAACL 2024; 9 pages

💡 一句话要点

提出层次嵌入方法以检测表情包中的劝说技巧

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 表情包分析 劝说技巧 多模态学习 层次嵌入 情感预测

📋 核心要点

  1. 现有方法在识别表情包中的劝说技巧时，往往忽视了文本和视觉内容的结合，导致分类准确性不足。
  2. 本文提出了一种集成类定义预测和超曲嵌入的方法，通过多任务学习框架提升情感预测能力，从而增强分类效果。
  3. 实验结果表明，所提方法在三个子任务上分别达到了0.60、0.67和0.48的层次F1分数，显示出显著的性能提升。

📝 摘要（中文）

表情包是在线虚假信息传播中最受欢迎的内容类型之一，尤其在社交媒体上具有广泛影响力。它们通过多种修辞和心理技巧影响用户，如因果简化、恶名化等。SemEval 2024任务4旨在识别表情包中的这些劝说技巧，分为三个子任务：仅使用文本内容的层次多标签分类、同时使用文本和视觉内容的层次多标签分类，以及基于文本和视觉内容的二分类。本文提出了一种结合类定义预测（CDP）和超曲嵌入的方法，通过整合HypEmo的层次标签嵌入和多任务学习框架，提升了表情包分类的准确性和全面性。实验结果显示，三个子任务的层次F1分数分别为0.60、0.67和0.48。

🔬 方法详解

问题定义：本文旨在解决在表情包中识别劝说技巧的挑战，现有方法未能有效结合文本与视觉信息，导致分类效果不佳。

核心思路：论文提出通过集成类定义预测（CDP）和超曲嵌入的方法，利用层次标签嵌入和多任务学习框架，提升表情包的分类准确性和全面性。

技术框架：整体架构包括三个主要模块：文本内容处理、视觉内容处理和情感预测模块。首先对文本和视觉内容进行特征提取，然后通过层次嵌入进行分类，最后结合多任务学习进行情感预测。

关键创新：最重要的创新点在于引入了超曲嵌入技术和多任务学习框架，使得模型能够更好地捕捉表情包中的复杂劝说技巧，显著提升了分类性能。

关键设计：在模型设计中，采用了层次标签嵌入方法，设置了适当的损失函数以优化多任务学习效果，同时在网络结构中引入了注意力机制以增强特征提取能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提方法在三个子任务上分别达到了层次F1分数0.60、0.67和0.48，较基线方法有显著提升，尤其在结合文本和视觉内容的分类任务中表现最佳，验证了多模态融合的有效性。

🎯 应用场景

该研究的潜在应用领域包括社交媒体内容监测、在线信息传播分析以及虚假信息识别等。通过有效识别表情包中的劝说技巧，可以帮助平台更好地管理和遏制虚假信息的传播，提升用户的信息素养和辨识能力。未来，该方法还可以扩展到其他类型的多模态内容分析中，具有广泛的实际价值。

📄 摘要（原文）

Memes are one of the most popular types of content used in an online disinformation campaign. They are primarily effective on social media platforms since they can easily reach many users. Memes in a disinformation campaign achieve their goal of influencing the users through several rhetorical and psychological techniques, such as causal oversimplification, name-calling, and smear. The SemEval 2024 Task 4 \textit{Multilingual Detection of Persuasion Technique in Memes} on identifying such techniques in the memes is divided across three sub-tasks: ($\mathbf{1}$) Hierarchical multi-label classification using only textual content of the meme, ($\mathbf{2}$) Hierarchical multi-label classification using both, textual and visual content of the meme and ($\mathbf{3}$) Binary classification of whether the meme contains a persuasion technique or not using it's textual and visual content. This paper proposes an ensemble of Class Definition Prediction (CDP) and hyperbolic embeddings-based approaches for this task. We enhance meme classification accuracy and comprehensiveness by integrating HypEmo's hierarchical label embeddings (Chen et al., 2023) and a multi-task learning framework for emotion prediction. We achieve a hierarchical F1-score of 0.60, 0.67, and 0.48 on the respective sub-tasks.