DeHate: A Stable Diffusion-based Multimodal Approach to Mitigate Hate Speech in Images

📄 arXiv: 2509.21787v2 📥 PDF

作者: Dwip Dalal, Gautam Vashishtha, Anku Rani, Aishwarya Reganti, Parth Patwa, Mohd Sarique, Chandan Gupta, Keshav Nath, Viswanatha Reddy, Vinija Jain, Aman Chadha, Amitava Das, Amit Sheth, Asif Ekbal

分类: cs.CV, cs.CL

发布日期: 2025-09-26 (更新: 2025-10-10)

备注: Defactify 3 workshop at AAAI 2024

💡 一句话要点

提出基于Stable Diffusion的多模态方法DeHate，以减轻图像中的仇恨言论。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 仇恨言论检测 图像处理 Stable Diffusion 多模态学习 注意力机制 内容审核 视觉-语言模型

📋 核心要点

  1. 现有方法难以有效识别和消除图像中的仇恨言论，尤其是在复杂场景和多模态信息融合方面。
  2. 利用Stable Diffusion生成模型和DAAM注意力机制，精确定位并模糊图像中的仇恨区域，实现自动化去仇恨。
  3. 构建了专门的多模态数据集，并提出了视觉-语言模型DeHater，为图像仇恨检测和消除任务提供新基准。

📝 摘要（中文）

有害在线内容的激增不仅扭曲了公共讨论，还对维护健康的数字环境构成了重大挑战。为了应对这一问题，我们引入了一个专门用于识别数字内容中仇恨言论的多模态数据集。我们的方法的核心是创新性地应用了带有水印、稳定增强的Stable Diffusion技术，并结合了数字注意力分析模块（DAAM）。这种结合有助于精确定位图像中的仇恨元素，从而生成详细的仇恨注意力图，用于模糊图像中的这些区域，从而删除图像中包含仇恨言论的部分。我们发布此数据集作为dehate共享任务的一部分。本文还详细介绍了共享任务的细节。此外，我们还提出了DeHater，一种专为多模态去仇恨化任务设计的视觉-语言模型。我们的方法为AI驱动的图像仇恨检测设定了新的标准，并促进了社交媒体中更符合伦理道德的AI应用的发展。

🔬 方法详解

问题定义：论文旨在解决图像中仇恨言论的自动检测与消除问题。现有方法在处理复杂场景、多模态信息融合以及精确识别仇恨区域方面存在不足，导致检测精度不高，消除效果不佳。此外，缺乏专门用于图像去仇恨的数据集也限制了相关研究的发展。

核心思路：论文的核心思路是利用Stable Diffusion生成模型强大的图像生成能力，结合数字注意力分析模块（DAAM）精确定位图像中的仇恨区域，然后通过模糊这些区域来消除仇恨言论。这种方法能够有效地去除图像中的有害内容，同时保持图像的整体视觉效果。

技术框架：整体框架包含以下几个主要模块：1) 多模态数据集构建：构建包含图像和文本描述的数据集，用于训练模型。2) 仇恨区域定位：利用Stable Diffusion和DAAM，生成仇恨注意力图，精确定位图像中的仇恨区域。3) 仇恨区域消除：根据仇恨注意力图，模糊图像中的仇恨区域，实现去仇恨化。4) 视觉-语言模型DeHater：设计用于多模态去仇恨化任务的视觉-语言模型。

关键创新：论文的关键创新在于将Stable Diffusion生成模型和DAAM注意力机制相结合，用于图像仇恨区域的精确定位和消除。与现有方法相比，该方法能够更准确地识别和消除图像中的仇恨言论，同时保持图像的整体视觉效果。此外，构建了专门的多模态数据集，为相关研究提供了数据支持。

关键设计：论文的关键设计包括：1) 水印和稳定增强的Stable Diffusion技术，用于生成高质量的仇恨注意力图。2) 数字注意力分析模块（DAAM），用于精确定位图像中的仇恨区域。3) 视觉-语言模型DeHater的网络结构和损失函数设计，使其能够有效地进行多模态去仇恨化任务。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文构建了专门的多模态数据集，并提出了视觉-语言模型DeHater。实验结果表明，该方法能够有效地检测和消除图像中的仇恨言论，显著优于现有方法。具体的性能数据和对比基线在论文中进行了详细的展示，证明了该方法的有效性和优越性。但具体提升幅度未知。

🎯 应用场景

该研究成果可应用于社交媒体平台、在线论坛、新闻网站等，自动检测和消除图像中的仇恨言论，维护健康的数字环境。此外，该技术还可用于内容审核、舆情监控等领域，提高信息安全水平，促进社会和谐发展。未来，该研究可扩展到视频等其他媒体形式，进一步提升内容审核的效率和准确性。

📄 摘要（原文）

The rise in harmful online content not only distorts public discourse but also poses significant challenges to maintaining a healthy digital environment. In response to this, we introduce a multimodal dataset uniquely crafted for identifying hate in digital content. Central to our methodology is the innovative application of watermarked, stability-enhanced, stable diffusion techniques combined with the Digital Attention Analysis Module (DAAM). This combination is instrumental in pinpointing the hateful elements within images, thereby generating detailed hate attention maps, which are used to blur these regions from the image, thereby removing the hateful sections of the image. We release this data set as a part of the dehate shared task. This paper also describes the details of the shared task. Furthermore, we present DeHater, a vision-language model designed for multimodal dehatification tasks. Our approach sets a new standard in AI-driven image hate detection given textual prompts, contributing to the development of more ethical AI applications in social media.