All Changes May Have Invariant Principles: Improving Ever-Shifting Harmful Meme Detection via Design Concept Reproduction

📄 arXiv: 2601.04567v1 📥 PDF

作者: Ziyou Jiang, Mingyang Li, Junjie Wang, Yuekai Huang, Jie Huang, Zhiyuan Chang, Zhaoyang Li, Qing Wang

分类: cs.CV

发布日期: 2026-01-08

备注: 18 pages, 11 figures

💡 一句话要点

提出RepMD，通过设计概念重现提升不断演变的有害Meme检测

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 有害Meme检测 设计概念重现 多模态学习 大型语言模型 互联网内容安全

📋 核心要点

  1. 现有有害Meme检测方法难以应对其类型快速变化和时间演化的特性，导致检测效果不佳。
  2. RepMD方法通过提取和重现有害Meme的设计概念，构建设计概念图（DCG）来指导检测。
  3. 实验结果表明，RepMD在准确率上优于现有方法，并能有效提高人工审核有害Meme的效率。

📝 摘要（中文）

有害Meme在互联网社区中不断演变，由于其类型转换和时间演化特性，难以分析。尽管这些Meme在变化，但我们发现不同的Meme可能共享不变的原则，即恶意用户的潜在设计概念，这可以帮助我们分析这些Meme为何有害。在本文中，我们提出了一种基于设计概念重现的、用于检测不断演变的有害Meme的方法RepMD。我们首先参考攻击树来定义设计概念图（DCG），该图描述了人们设计有害Meme可能采取的步骤。然后，我们通过设计步骤重现和图剪枝从历史Meme中推导出DCG。最后，我们使用DCG来指导多模态大型语言模型（MLLM）检测有害Meme。评估结果表明，RepMD实现了81.1%的最高准确率，并且在推广到类型转换和时间演化的Meme时，准确率略有下降。人工评估表明，RepMD可以提高人工发现有害Meme的效率，每个Meme节省15到30秒。

🔬 方法详解

问题定义：有害Meme检测旨在识别互联网上传播的具有潜在危害性的Meme。现有方法难以有效应对Meme内容快速演变和类型多样化的挑战，导致检测准确率下降，需要耗费大量人工审核精力。

核心思路：论文的核心思路是，虽然Meme的内容形式不断变化，但恶意用户设计有害Meme的底层逻辑（即设计概念）可能存在不变性。通过学习和重现这些设计概念，可以更好地理解Meme的潜在危害性，从而提升检测效果。

技术框架：RepMD方法包含以下主要步骤：1) 设计概念图（DCG）构建：参考攻击树的思想，定义DCG来描述设计有害Meme的步骤。2) DCG推导：从历史有害Meme中提取设计步骤，通过设计步骤重现和图剪枝构建DCG。3) MLLM引导：使用构建的DCG来引导多模态大型语言模型（MLLM）进行有害Meme检测。

关键创新：该方法最重要的创新点在于，它将有害Meme检测问题转化为设计概念的学习和重现问题，从而能够更好地应对Meme内容快速演变的挑战。与现有方法直接分析Meme内容不同，RepMD关注的是Meme背后的设计逻辑。

关键设计：DCG的构建是关键，需要仔细定义设计步骤，并设计有效的图剪枝策略来去除冗余信息。此外，如何有效地利用DCG来引导MLLM进行检测也是一个重要的设计考虑，具体实现细节未知。

📊 实验亮点

RepMD方法在有害Meme检测任务上取得了显著的性能提升，达到了81.1%的准确率，优于现有方法。此外，人工评估表明，RepMD可以显著提高人工审核有害Meme的效率，每个Meme节省15到30秒。即使在面对类型转换和时间演化的Meme时，RepMD的准确率也仅有轻微下降，表明其具有较好的泛化能力。

🎯 应用场景

该研究成果可应用于互联网内容安全领域，帮助自动检测和过滤有害Meme，减少其传播，维护健康的网络环境。该方法还可以应用于其他类型的恶意内容检测，例如虚假新闻、网络欺诈等，具有广泛的应用前景。未来，可以进一步研究如何自动构建和更新DCG，以适应不断变化的恶意内容。

📄 摘要（原文）

Harmful memes are ever-shifting in the Internet communities, which are difficult to analyze due to their type-shifting and temporal-evolving nature. Although these memes are shifting, we find that different memes may share invariant principles, i.e., the underlying design concept of malicious users, which can help us analyze why these memes are harmful. In this paper, we propose RepMD, an ever-shifting harmful meme detection method based on the design concept reproduction. We first refer to the attack tree to define the Design Concept Graph (DCG), which describes steps that people may take to design a harmful meme. Then, we derive the DCG from historical memes with design step reproduction and graph pruning. Finally, we use DCG to guide the Multimodal Large Language Model (MLLM) to detect harmful memes. The evaluation results show that RepMD achieves the highest accuracy with 81.1% and has slight accuracy decreases when generalized to type-shifting and temporal-evolving memes. Human evaluation shows that RepMD can improve the efficiency of human discovery on harmful memes, with 15$\sim$30 seconds per meme.