Learn Before You Judge: Progressive Knowledge-to-Decision Alignment for Explainable Hateful Meme Detection
作者: Bo Xu, Chenyuan Wang, Xinyu Chen, Quanhao Zhu, Rui Lin, Liang Zhao, Hongfei Lin, Feng Xia
分类: cs.CL
发布日期: 2026-09-17
备注: 26 pages, 16 figures, 7 tables
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出ProKDA以解决仇恨表情包检测中的解释性与准确性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 仇恨表情包 多模态检测 可解释性 知识对齐 深度学习
📋 核心要点
- 现有的解释-检测方法在同一训练过程中耦合了解释生成与标签预测，导致任务目标间的干扰，限制了检测性能。
- ProKDA通过渐进式知识-决策对齐方法，采用三阶段训练策略，分别进行背景知识学习、仇恨性检测学习和边界对齐，减少任务间干扰。
- 在三个公共仇恨表情包基准上，ProKDA实现了最先进的检测性能，提供了准确且可解释的决策，超越了现有基线。
📝 摘要（中文）
仇恨表情包通过图像与文本的隐性互动传播恶意内容，严重威胁在线社区的安全。近年来，多模态大语言模型被广泛应用于仇恨表情包检测，并逐渐用于生成可解释的检测结果。然而，现有的解释-检测方法常常将解释生成与标签预测耦合在同一训练过程中，这种耦合导致任务目标之间的干扰，限制了检测性能，甚至比简单的SFT基线效果更差。为了解决这些挑战，本文提出了ProKDA，一种渐进式知识-决策对齐方法。ProKDA采用三阶段训练策略，依次进行背景知识学习、仇恨性检测学习和仇恨性边界对齐，从而减少任务间的干扰，逐步将背景知识转化为稳健的检测决策。实验结果表明，ProKDA在三个公共仇恨表情包基准上实现了最先进的检测性能，并提供了准确、可解释且有证据支持的决策。
🔬 方法详解
问题定义：本文旨在解决仇恨表情包检测中的解释性与准确性问题。现有的解释-检测方法因耦合训练而导致任务目标干扰，限制了检测性能，甚至不如简单的基线方法。
核心思路：ProKDA的核心思路是通过渐进式的训练策略，将背景知识转化为检测决策。该方法借鉴了人类标注的训练过程，分阶段进行知识学习与决策生成，避免了任务间的干扰。
技术框架：ProKDA的整体架构包括三个主要阶段：背景知识学习、仇恨性检测学习和仇恨性边界对齐。每个阶段专注于单一任务，确保知识的有效转化。
关键创新：ProKDA的关键创新在于其渐进式的知识-决策对齐方法，区别于以往的解释-检测方法，该方法在每个阶段专注于单一目标，减少了任务间的干扰。
关键设计：在技术细节上，ProKDA采用了特定的损失函数和网络结构，确保每个阶段的学习目标明确，且通过外部知识的引入增强了模型的理解能力。具体参数设置和网络架构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
ProKDA在三个公共仇恨表情包基准上实现了最先进的检测性能，具体表现为相较于现有基线方法，检测准确率提高了XX%，并且提供了更为清晰的解释和证据支持，显著提升了模型的可解释性。
🎯 应用场景
该研究的潜在应用领域包括社交媒体内容审核、在线社区管理及仇恨言论监测等。通过提供准确且可解释的检测结果，ProKDA能够帮助平台更有效地识别和处理仇恨内容，提升用户体验和社区安全。未来，该方法还可以扩展到其他多模态内容的检测与分析任务中。
📄 摘要（原文）
Hateful memes spread abusive content through implicit interactions between images and text, posing serious threats to the safety of online communities. In recent years, multimodal large language models have been widely used for hateful meme detection and are increasingly adopted to generate explainable detection results. However, we find that existing explain-then-detect methods often couple explanation generation and label prediction within the same training process. This coupling causes interference between task objectives, leading to limited detection performance and even worse results than simple SFT baselines. To address these challenges, we propose ProKDA, a progressive knowledge-to-decision alignment method for explainable hateful meme detection. Inspired by the human annotation training process, ProKDA first uses an agentic background knowledge construction pipeline to obtain external knowledge related to meme understanding. It then adopts a three-stage training strategy that sequentially performs background knowledge learning, hatefulness detection learning, and hatefulness boundary alignment. Unlike prior explain-then-detect methods that jointly optimize both tasks, ProKDA focuses on a single training objective at each stage. This design reduces interference between the two tasks and progressively transforms background knowledge into robust detection decisions. Experiments on three public hateful meme benchmarks show that ProKDA achieves state-of-the-art detection performance and provides accurate, explainable, and evidence-supported decisions for hateful meme moderation. Project page: https://meizhiyuan88666.github.io/prokda.