HalluScope: Fine-grained Hallucination Diagnosis for Multimodal Large Language Models

📄 arXiv: 2607.21105v1 📥 PDF

作者: Weilin Jin, Mingyu Wang, Wenbo Li, Haoyang Huang, Yifan Wu, Ying Li, Gang Huang, Zhonghai Wu

分类: cs.CV

发布日期: 2026-07-23

备注: Accepted to ACM Multimedia 2026 (ACM MM 2026). This is not the camera-ready version. 18 pages, 7 figures, 12 tables

💡 一句话要点

提出HalluScope以解决多模态大语言模型的幻觉诊断问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 幻觉诊断 细粒度分类 可解释性 自动化数据生成

📋 核心要点

  1. 现有方法主要通过粗粒度检测来解决幻觉问题，缺乏足够的诊断信息，难以理解幻觉类型并支持后续的幻觉缓解。
  2. 本文提出细粒度幻觉诊断的新任务，联合进行幻觉检测、分类和可解释性解释生成，以提供更全面的诊断信息。
  3. HalluScope-4B和HalluScope-8B模型在MHALO基准和细粒度幻觉分类基准上均取得了最先进的性能，且诊断驱动的反馈实验显示显著提升效果。

📝 摘要（中文）

尽管多模态大语言模型在视觉-语言任务中表现出色，但仍存在幻觉问题，即模型输出与视觉内容、文本上下文或常识知识不一致。现有研究主要通过粗粒度检测来解决此问题，但往往缺乏足够的诊断信息。为此，本文提出了一种细粒度幻觉诊断的新任务，联合进行幻觉检测、分类和可解释性解释生成。我们开发了自动化数据生成管道，并构建了覆盖八个来源和五个任务类别的大规模诊断数据集HalluScope-30K。基于该数据集，我们设计了多粒度联合奖励函数，并训练了两个诊断模型，HalluScope-4B和HalluScope-8B，在MHALO基准和细粒度幻觉分类基准上均取得了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型中的幻觉问题，现有方法的痛点在于缺乏细粒度的诊断信息，无法有效支持幻觉类型的理解和缓解。

核心思路：提出细粒度幻觉诊断任务，联合进行幻觉检测、分类和可解释性解释生成，以提供全面的诊断信息，帮助模型识别和纠正幻觉。

技术框架：整体架构包括自动化数据生成管道、HalluScope-30K数据集的构建、多粒度联合奖励函数的设计，以及两个诊断模型的训练与评估。

关键创新：最重要的技术创新在于细粒度幻觉诊断的提出和实现，通过联合优化检测与分类，提升了模型的诊断能力和解释能力。

关键设计：在模型训练中，采用多粒度联合奖励函数，设计了特定的损失函数和网络结构，以确保检测和分类的互利优化。具体参数设置和网络细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HalluScope-4B和HalluScope-8B在MHALO基准和细粒度幻觉分类基准上均达到了最先进的性能，诊断驱动的反馈实验显示，全面诊断显著优于所有基线模型，提升幅度明显，尤其在Qwen3-VL-8B-Instruct和LLaVA-1.5-7B上表现突出。

🎯 应用场景

该研究的潜在应用领域包括多模态大语言模型的开发与优化，尤其在需要高准确性和可解释性的场景中，如自动问答系统、智能助手和内容生成等。未来，该方法可能推动更高效的幻觉缓解技术的发展，提升模型在实际应用中的可靠性。

📄 摘要（原文）

Although Multimodal Large Language Models have achieved strong performance across a wide range of vision-language tasks, they still suffer from hallucinations, where model outputs become inconsistent with the visual content, textual context, or commonsense knowledge. Existing studies primarily address this problem through coarse-grained detection. However, these approaches often provide insufficient diagnostic information for understanding hallucination types and supporting downstream hallucination mitigation. To bridge this gap, we propose fine-grained hallucination diagnosis for MLLMs, a new unified task that jointly performs hallucination detection, classification, and interpretable explanation generation. We develop an automated data generation pipeline and construct HalluScope-30K, a large-scale diagnostic dataset covering eight sources and five task categories. Based on this dataset, we design a multi-granular joint reward function and train two diagnosis models, HalluScope-4B and HalluScope-8B, which achieve state-of-the-art performance on both the MHALO benchmark and our fine-grained hallucination classification benchmark. Notably, detection and classification are mutually beneficial under joint optimization. Furthermore, diagnosis-driven feedback experiments show that the fine-grained diagnostic explanations produced by our model effectively guide target models to correct their hallucinations, with full diagnosis substantially outperforming all baselines on both Qwen3-VL-8B-Instruct and LLaVA-1.5-7B.