Toxic Memes: A Survey of Computational Perspectives on the Detection and Explanation of Meme Toxicities
作者: Delfina Sol Martinez Pandiani, Erik Tjong Kim Sang, Davide Ceolin
分类: cs.CL, cs.AI, cs.CV, cs.CY, cs.SI
发布日期: 2024-06-11
备注: 39 pages, 12 figures, 9 tables
💡 一句话要点
综述性研究：全面分析互联网有毒Meme的计算检测与解释方法
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 有毒Meme 计算分析 内容审核 多模态学习 自然语言处理 深度学习 网络安全 社交媒体
📋 核心要点
- 现有有毒Meme计算分析综述存在时间滞后，术语不一致，缺乏对最新趋势的探索。
- 提出一种新的Meme毒性分类法，并构建框架，关联毒性的目标、意图和传递策略三个维度。
- 分析了158项计算工作，识别了30多个数据集，并探讨了跨模态推理和低资源语言处理等挑战。
📝 摘要（中文）
互联网Meme作为幽默、社会评论和文化表达的渠道，正日益被用于传播有毒信息。过去五年里，关于有毒Meme计算分析的研究显著增长，但已有的三篇综述仅涵盖了2022年之前发表的工作，导致术语不一致和趋势未被探索。本研究填补了这一空白，综述了基于内容的有毒Meme计算视角，并回顾了截至2024年初的关键进展。采用PRISMA方法，系统地扩展了先前考虑的论文，实现了三重结果。首先，调查了119篇新论文，分析了158项专注于基于内容的有毒Meme分析的计算工作。确定了有毒Meme分析中使用的30多个数据集，并检查了它们的标记系统。其次，观察到计算工作中Meme毒性定义不明确，引入了一种新的分类法来对Meme毒性类型进行分类。还注意到计算任务的扩展，超越了将Meme简单地分类为有毒或无毒的二元分类，表明朝着实现对毒性的细致理解转变。第三，确定了自动研究下Meme毒性的三个基于内容的维度：目标、意图和传递策略。开发了一个框架，说明了这些维度与Meme毒性之间的关系。该调查分析了关键挑战和最新趋势，例如增强的跨模态推理、整合专家和文化知识、对自动毒性解释的需求以及处理低资源语言中的Meme毒性。此外，它还注意到大型语言模型（LLM）和生成式AI在检测和生成有毒Meme方面的日益普及。最后，提出了推进有毒Meme检测和解释的途径。
🔬 方法详解
问题定义：该论文旨在解决互联网Meme中日益增长的毒性传播问题，并弥补现有综述研究的不足。现有方法主要存在三个痛点：一是时间滞后性，已有的综述未能涵盖最新的研究进展；二是术语不一致，对Meme毒性的定义和分类缺乏统一标准；三是对Meme毒性的多维度理解不足，未能深入分析毒性的目标、意图和传递策略等关键因素。
核心思路：论文的核心思路是通过系统性的文献综述，全面梳理基于内容的有毒Meme计算分析方法，并在此基础上构建统一的毒性分类体系和多维度分析框架。通过对大量研究工作的分析，揭示Meme毒性的内在机制和演变趋势，为未来的研究提供指导。
技术框架：该综述研究采用了PRISMA方法，系统地筛选和分析了相关文献。整体流程包括：(1) 确定研究范围和关键词；(2) 从多个数据库中检索相关论文；(3) 根据预设的标准筛选论文；(4) 对筛选出的论文进行深入分析和总结；(5) 构建Meme毒性分类体系和多维度分析框架；(6) 撰写综述报告。
关键创新：论文最重要的技术创新点在于提出了一个新的Meme毒性分类法，并构建了一个多维度分析框架。该分类法将Meme毒性分为不同的类型，例如仇恨言论、网络欺凌、煽动暴力等，并对每种类型的毒性进行了详细的定义和描述。多维度分析框架则从目标、意图和传递策略三个维度对Meme毒性进行深入分析，揭示了Meme毒性的内在机制。与现有方法相比，该分类法和框架更加全面、系统和深入，能够更好地理解和应对Meme毒性问题。
关键设计：论文的关键设计在于对Meme毒性的三个维度（目标、意图和传递策略）的选取和定义。目标指的是Meme毒性攻击的对象，例如个人、群体或组织。意图指的是Meme传播者传播毒性信息的动机，例如恶意攻击、政治宣传或娱乐恶搞。传递策略指的是Meme传播者使用的具体手段，例如图像处理、文本编辑或多模态融合。通过对这三个维度的分析，可以更全面地理解Meme毒性的本质和影响。
🖼️ 关键图片
📊 实验亮点
该综述分析了158项关于有毒Meme计算分析的论文，识别了超过30个相关数据集，并提出了一个全新的Meme毒性分类体系。研究还强调了跨模态推理、低资源语言处理以及大型语言模型在有毒Meme检测中的应用，为未来的研究方向提供了重要参考。
🎯 应用场景
该研究成果可应用于多个领域，包括：社交媒体平台的内容审核、网络安全监控、舆情分析和危机公关等。通过自动检测和解释有毒Meme，可以有效减少有害信息的传播，维护健康的互联网环境。此外，该研究还可以为教育工作者和家长提供指导，帮助他们识别和应对网络欺凌等问题。
📄 摘要（原文）
Internet memes, channels for humor, social commentary, and cultural expression, are increasingly used to spread toxic messages. Studies on the computational analyses of toxic memes have significantly grown over the past five years, and the only three surveys on computational toxic meme analysis cover only work published until 2022, leading to inconsistent terminology and unexplored trends. Our work fills this gap by surveying content-based computational perspectives on toxic memes, and reviewing key developments until early 2024. Employing the PRISMA methodology, we systematically extend the previously considered papers, achieving a threefold result. First, we survey 119 new papers, analyzing 158 computational works focused on content-based toxic meme analysis. We identify over 30 datasets used in toxic meme analysis and examine their labeling systems. Second, after observing the existence of unclear definitions of meme toxicity in computational works, we introduce a new taxonomy for categorizing meme toxicity types. We also note an expansion in computational tasks beyond the simple binary classification of memes as toxic or non-toxic, indicating a shift towards achieving a nuanced comprehension of toxicity. Third, we identify three content-based dimensions of meme toxicity under automatic study: target, intent, and conveyance tactics. We develop a framework illustrating the relationships between these dimensions and meme toxicities. The survey analyzes key challenges and recent trends, such as enhanced cross-modal reasoning, integrating expert and cultural knowledge, the demand for automatic toxicity explanations, and handling meme toxicity in low-resource languages. Also, it notes the rising use of Large Language Models (LLMs) and generative AI for detecting and generating toxic memes. Finally, it proposes pathways for advancing toxic meme detection and interpretation.