MemeTAG: Keyword-Driven Meme Classification through Tag Embedding Reconstruction

📄 arXiv: 2609.20962v1 📥 PDF

作者: Akshit Sharma, Prashant W. Patil

分类: cs.CV, cs.MM

发布日期: 2026-09-17

备注: 10 pages, 3 figures; published in the Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), 2026

期刊: Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), 2026, pp. 7679-7688

DOI: 10.1109/WACV61042.2026.00741

💡 一句话要点

提出MemeTAG以解决有害网络表情包自动分类问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表情包分类 多模态学习 关键词驱动 语义嵌入 深度学习

📋 核心要点

  1. 现有的表情包分类方法在处理多模态内容时面临挑战，尤其是在捕捉细微语义方面。
  2. MemeTAG通过关键词驱动的双重语义引导机制，结合视觉-语言模型和聚合标签推断网络，实现了更深层次的特征对齐。
  3. 该方法在多个数据集上取得了新的最先进结果，显著提高了分类准确性，展示了其有效性。

📝 摘要（中文）

有害网络表情包的泛滥对社会构成了重大威胁，但其自动分类由于内容的细微差别和多模态特性仍然是一个艰巨的算法挑战。为此，我们提出了MemeTAG，这是一种新颖的双目标框架，开创了一种基于关键词的表情包分类方法。我们的核心创新是一个双重语义引导机制：首先，我们利用预训练的视觉-语言模型生成一组描述性关键词，以捕捉高层语义；其次，我们引入了聚合标签推断网络（ATIN），这是一个基于注意力的模块，将这些关键词提炼为一个丰富的语义嵌入。该嵌入作为一种新颖的辅助重构损失的目标，促使模型学习深度对齐的视觉和文本特征。结合高效的三阶段训练策略，我们在HarMeme、仇恨表情包挑战（HMC）和PrideMM数据集上建立了新的最先进水平，显著超越了现有的最先进方法。

🔬 方法详解

问题定义：本论文旨在解决有害网络表情包的自动分类问题。现有方法在处理多模态内容时，往往无法有效捕捉细微的语义差异，导致分类性能不足。

核心思路：我们提出MemeTAG框架，采用关键词驱动的方式，通过预训练的视觉-语言模型生成描述性关键词，并利用聚合标签推断网络（ATIN）将这些关键词转化为语义嵌入，以实现深度特征对齐。

技术框架：MemeTAG的整体架构包括两个主要模块：首先是关键词生成模块，利用视觉-语言模型提取高层语义；其次是ATIN模块，通过注意力机制对关键词进行聚合，生成丰富的语义嵌入。整个过程结合了三阶段的训练策略，以优化模型性能。

关键创新：本研究的最大创新在于引入了双重语义引导机制和辅助重构损失，这使得模型能够在视觉和文本特征之间实现更深层次的对齐，显著提升了分类效果。

关键设计：在模型设计中，我们设置了特定的损失函数以促进语义嵌入的重构，同时采用了注意力机制以增强关键词的聚合效果。网络结构经过精心设计，以确保在多模态特征学习中的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在HarMeme、仇恨表情包挑战（HMC）和PrideMM数据集上，MemeTAG框架取得了新的最先进结果，分类准确率显著提高，超越了现有方法，展示了其在多模态内容分类中的有效性和优势。

🎯 应用场景

MemeTAG的研究成果具有广泛的应用潜力，尤其是在社交媒体内容监控、网络安全和信息过滤等领域。通过自动化的有害内容分类，能够有效减少社会对有害表情包的暴露，提升网络环境的安全性。此外，该方法的创新思路也可扩展到其他多模态内容分析任务中，具有重要的实际价值和未来影响。

📄 摘要（原文）

The proliferation of harmful internet memes poses a significant societal threat, yet their automated classification remains a formidable algorithmic challenge due to the nuanced, multimodal nature of their content. To address this, we introduce MemeTAG, a novel dual-objective framework that pioneers a keyword-aware approach to meme classification. Our core innovation is a two-part semantic guidance mechanism: first, we leverage a pretrained Vision-Language Model to generate a set of descriptive keywords, that capture the high-level semantics. Second, we introduce the Aggregated Tag Inference Network (ATIN), an attention-based module that distills these keywords into a single, rich semantic embedding. This embedding serves as a target for a novel auxiliary reconstruction loss, which compels the model to learn deeply aligned visual and textual features. This approach, combined with an efficient three-stage training strategy, establishes a new state-of-the-art on the HarMeme, Hateful Memes Challenge (HMC), and PrideMM datasets, decisively outperforming existing state-of-the-art methods.