Now You See the Hate: Adaptive View Retrieval for Hidden Hateful Illusions

📄 arXiv: 2607.19061v1 📥 PDF

作者: Qianpu Chen, Derya Soydaner

分类: cs.CV, cs.AI

发布日期: 2026-07-21

💡 一句话要点

提出自适应视图检索以解决隐藏仇恨幻觉检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 仇恨内容检测 多模态安全 自适应视图检索 光学幻觉 深度学习

📋 核心要点

  1. 现有的多模态安全系统在检测隐藏仇恨幻觉方面存在严重不足，导致许多仇恨内容未被识别。
  2. 本文提出自适应视图检索方法，将隐藏仇恨幻觉检测视为感知检索问题，通过构建互补视图库来提高检测准确性。
  3. 实验结果表明，该方法在多个数据集上超越了现有基线，达到了93.2%的准确率，甚至超过了人类表现。

📝 摘要（中文）

仇恨光学幻觉揭示了当前多模态安全系统的严重缺陷。在原始视图的仇恨幻觉中，现有的六种分类器的准确率最高仅为20.9%到24.5%，而九种最先进的视觉语言模型在幻觉感知提示下的准确率仍然低于10.2%。本文将隐藏仇恨幻觉检测形式化为感知检索问题，并提出了自适应视图检索方法。该框架构建了图像和隐藏信息模板的互补视图库，自适应选择可信视图，检索隐藏信息身份，并校准恢复的证据是否有害。在HatefulIllusion数据集上，使用冻结的CLIP编码器，自适应视图检索在保留的测试集上达到了93.2%的平衡准确率，显著优于原始视图基线和固定单变换滤波器。

🔬 方法详解

问题定义：本文旨在解决隐藏仇恨幻觉的检测问题，现有方法在识别此类内容时准确率极低，无法有效应对潜在的仇恨信息。

核心思路：提出的自适应视图检索方法通过构建互补视图库，动态选择可信视图，从而提高对隐藏仇恨信息的检索和校准能力。

技术框架：整体框架包括视图库的构建、可信视图的自适应选择、隐藏信息身份的检索以及证据的有害性校准四个主要模块。

关键创新：最重要的创新在于将隐藏仇恨幻觉检测视为感知检索问题，利用自适应机制显著提高了检测的准确性，与传统方法相比具有本质区别。

关键设计：在技术细节上，使用冻结的CLIP编码器进行特征提取，设计了特定的损失函数以优化检索效果，并通过多层次的视图选择策略增强模型的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，自适应视图检索在HatefulIllusion数据集上达到了93.2%的平衡准确率，显著优于原始视图基线和固定单变换滤波器，且在多个数据集上超越了官方微调的CLIP基线，表现出色。

🎯 应用场景

该研究的潜在应用领域包括社交媒体内容监控、在线社区管理和自动化内容审核系统。通过提高对隐藏仇恨内容的检测能力，可以有效减少网络仇恨言论的传播，促进更安全的在线环境。未来，该方法可能在多模态内容理解和安全性提升方面发挥重要作用。

📄 摘要（原文）

Hateful optical illusions expose a serious gap in current multimodal safety systems. On original-view hateful illusions, previous work shows that six moderation classifiers achieve at most 20.9 to 24.5% accuracy and nine state-of-the-art VLMs remain at or below 10.2% with illusion-aware prompting, leaving most hidden hate undetected. We formulate hidden hateful illusion detection as a perceptual retrieval problem and propose Adaptive View Retrieval. This retrieve-and-calibrate framework assembles a complementary view bank for the image and hidden-message templates, adaptively selects which views to trust, retrieves hidden-message identities, and calibrates whether the recovered evidence is harmful. On HatefulIllusion with a frozen CLIP encoder, Adaptive View Retrieval reaches 93.2% balanced accuracy on the held-out test split. It substantially outperforms original-view baselines and fixed single-transform filters across hate slangs, hate symbols, and visibility levels. The same design also surpasses official fine-tuned CLIP baselines, matches or exceeds human performance on IllusionMNIST, IllusionFashionMNIST, and IllusionAnimals, and outperforms zoom-out preprocessing on HC-Bench under the SemVink protocol. Together, these results show that robust multimodal moderation requires recovering hidden meaning before deciding whether it is harmful.