Prompt-enhanced Network for Hateful Meme Classification
作者: Junxi Liu, Yanyan Feng, Jiehai Chen, Yun Xue, Fenghuan Li
分类: cs.CL
发布日期: 2024-11-12 (更新: 2025-03-05)
备注: Published in Proceedings of the Thirty-Third International Joint Conference on Artificial Intelligence Main Track. Pages 6397-6405
🔗 代码/项目: GITHUB
💡 一句话要点
提出Pen：一种提示增强网络，用于提升仇恨模因分类的准确性和泛化性
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 仇恨模因分类 提示学习 多模态学习 对比学习 自然语言处理
📋 核心要点
- 传统多模态仇恨模因分类依赖外部知识，易引入无关信息，限制了模型性能。
- Pen框架利用提示学习，通过全局信息提取和多视角感知，提升分类准确性。
- 引入提示感知的对比学习，优化特征空间，实验证明Pen优于现有方法。
📝 摘要（中文）
社交媒体的快速发展导致仇恨模因泛滥，高效识别和移除这些内容的需求日益增长。传统的多模态仇恨模因分类方法严重依赖外部知识，存在引入无关或冗余内容的风险。为此，我们开发了Pen，一个基于提示学习方法的提示增强网络框架。具体来说，我们通过提示方法构建序列，并使用语言模型对其进行编码，然后对编码后的序列进行区域信息全局提取，以实现多视角感知。Pen通过捕获推理实例和演示的全局信息，充分利用序列信息来促进类别选择，从而显著提高模型分类精度。此外，为了增强模型在特征空间中的推理能力，我们将提示感知的对比学习引入框架，以提高样本特征分布的质量。通过在两个公共数据集上进行的大量消融实验，我们评估了Pen框架的有效性，并将其与最先进的模型基线进行比较。研究结果表明，Pen优于手动提示方法，在仇恨模因分类任务中表现出卓越的泛化性和分类精度。代码已开源。
🔬 方法详解
问题定义：论文旨在解决社交媒体上仇恨模因的自动识别问题。现有方法，特别是传统的多模态分类方法，通常依赖于大量的外部知识，这不仅增加了计算成本，而且容易引入与任务无关的噪声信息，从而影响分类的准确性和泛化能力。此外，手动设计的提示工程也存在局限性，难以充分挖掘模因中的潜在信息。
核心思路：论文的核心思路是利用提示学习（Prompt Learning）的思想，将仇恨模因分类任务转化为一个序列到序列的任务，并通过预训练语言模型来编码这些序列。通过精心设计的提示，模型能够更好地理解模因的语义信息，并减少对外部知识的依赖。此外，论文还引入了区域信息全局提取和提示感知的对比学习，以进一步提升模型的性能。
技术框架：Pen框架主要包含以下几个模块：1) 提示构建模块：将图像和文本信息通过提示模板转换为序列；2) 语言模型编码模块：使用预训练语言模型（如BERT）对序列进行编码；3) 区域信息全局提取模块：提取编码后序列的全局信息，进行多视角感知；4) 分类模块：基于提取的全局信息进行分类；5) 提示感知的对比学习模块：通过对比学习优化特征空间，提升模型的推理能力。
关键创新：Pen框架的关键创新在于：1) 提出了一个基于提示学习的仇恨模因分类框架，避免了对大量外部知识的依赖；2) 引入了区域信息全局提取模块，能够更好地捕获模因中的全局信息；3) 提出了提示感知的对比学习方法，能够有效地提升模型的推理能力，改善特征分布。
关键设计：在提示构建模块中，论文可能使用了特定的提示模板，例如“[CLS] Image: [image_embedding] Text: [text] Is this hateful? [MASK]”。在语言模型编码模块中，可以选择不同的预训练语言模型，如BERT、RoBERTa等。在提示感知的对比学习模块中，需要设计合适的对比损失函数，例如InfoNCE loss，并选择合适的正负样本对。具体的参数设置和网络结构细节需要在论文中进一步查找。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Pen框架在两个公共数据集上均取得了优于现有方法的性能。具体来说，Pen在分类准确率方面显著超越了手动提示方法和其他基线模型，证明了其在仇恨模因分类任务中的有效性和泛化能力。开源代码使得研究成果更易于复现和应用。
🎯 应用场景
该研究成果可应用于社交媒体平台的内容审核，自动识别和过滤仇恨模因，从而净化网络环境，减少不良信息传播。此外，该方法也可扩展到其他多模态分类任务，如恶意软件检测、虚假新闻识别等，具有广泛的应用前景。
📄 摘要（原文）
The dynamic expansion of social media has led to an inundation of hateful memes on media platforms, accentuating the growing need for efficient identification and removal. Acknowledging the constraints of conventional multimodal hateful meme classification, which heavily depends on external knowledge and poses the risk of including irrelevant or redundant content, we developed Pen -- a prompt-enhanced network framework based on the prompt learning approach. Specifically, after constructing the sequence through the prompt method and encoding it with a language model, we performed region information global extraction on the encoded sequence for multi-view perception. By capturing global information about inference instances and demonstrations, Pen facilitates category selection by fully leveraging sequence information. This approach significantly improves model classification accuracy. Additionally, to bolster the model's reasoning capabilities in the feature space, we introduced prompt-aware contrastive learning into the framework to improve the quality of sample feature distributions. Through extensive ablation experiments on two public datasets, we evaluate the effectiveness of the Pen framework, concurrently comparing it with state-of-the-art model baselines. Our research findings highlight that Pen surpasses manual prompt methods, showcasing superior generalization and classification accuracy in hateful meme classification tasks. Our code is available at https://github.com/juszzi/Pen.