ZINA: Multimodal Fine-grained Hallucination Detection and Editing

📄 arXiv: 2506.13130 📥 PDF

作者: Yuiga Wada, Kazuki Matsuda, Komei Sugiura, Graham Neubig

分类: cs.CV, cs.AI, cs.CL

发布日期: 2026-04-07

💡 一句话要点

ZINA：提出多模态细粒度幻觉检测与编辑方法，解决MLLM输出与视觉内容不符问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 幻觉检测 幻觉编辑 细粒度分析 大型语言模型

📋 核心要点

  1. 现有MLLM容易产生幻觉，输出与视觉内容不符，缺乏细粒度的检测和编辑方法。
  2. ZINA方法通过细粒度识别幻觉跨度，分类错误类型，并提出改进建议来解决幻觉问题。
  3. 论文构建了VisionHall数据集，并通过实验证明ZINA在幻觉检测和编辑方面优于现有方法。

📝 摘要（中文）

多模态大型语言模型(MLLM)经常产生幻觉，即输出偏离视觉内容。由于这些幻觉形式多样，因此细粒度地检测幻觉对于全面评估和分析至关重要。为此，我们提出了一种新的多模态细粒度幻觉检测和编辑任务。此外，我们提出了一种名为ZINA的新方法，该方法可以细粒度地识别幻觉跨度，将其错误类型分为六类，并提出适当的改进建议。为了训练和评估该任务的模型，我们构建了VisionHall数据集，该数据集包含来自十二个MLLM的6.9k个输出，由211名注释员手动注释，以及使用基于图的方法生成的20k个合成样本，该方法捕获错误类型之间的依赖关系。实验表明，在检测和编辑任务中，ZINA优于现有方法，包括GPT-4o和Llama-3.2。

🔬 方法详解

问题定义：论文旨在解决多模态大型语言模型（MLLMs）中普遍存在的幻觉问题，即模型生成的文本内容与输入图像不一致。现有的幻觉检测方法通常是粗粒度的，无法精确定位幻觉的具体位置和类型，也缺乏有效的编辑手段来纠正这些幻觉。这限制了对MLLM的全面评估和改进。

核心思路：论文的核心思路是进行细粒度的幻觉检测和编辑。具体来说，首先识别出文本中存在幻觉的跨度（span），然后将这些幻觉归类到不同的错误类型中，最后针对不同的错误类型提出相应的编辑建议。这种细粒度的处理方式能够更准确地定位和纠正幻觉。

技术框架：ZINA方法的整体框架包含三个主要步骤：1) 幻觉跨度检测：识别文本中可能存在幻觉的片段；2) 错误类型分类：将检测到的幻觉片段归类到预定义的错误类型中（例如，对象不存在、属性错误等）；3) 编辑建议生成：根据错误类型，生成相应的编辑建议，以纠正幻觉。该框架利用了预训练语言模型的能力，并结合了特定的任务目标进行微调。

关键创新：ZINA的关键创新在于其细粒度的幻觉检测和编辑能力。与传统的粗粒度方法相比，ZINA能够更精确地定位幻觉的位置和类型，从而能够生成更有效的编辑建议。此外，论文还提出了一个基于图的合成数据生成方法，用于扩充训练数据，提高模型的泛化能力。

关键设计：在幻觉跨度检测阶段，可以使用序列标注模型，例如BiLSTM-CRF或Transformer模型，对文本进行标注，识别出幻觉跨度。在错误类型分类阶段，可以使用分类模型，例如BERT或RoBERTa，对幻觉跨度进行分类。在编辑建议生成阶段，可以使用序列到序列模型，例如T5或BART，根据幻觉跨度和错误类型生成编辑建议。损失函数可以采用交叉熵损失函数或Focal Loss等，以提高模型的分类性能。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，ZINA在幻觉检测和编辑任务中均优于现有方法，包括GPT-4o和Llama-3.2。具体性能提升数据在论文中给出，证明了ZINA在细粒度幻觉处理方面的有效性。VisionHall数据集的构建也为后续研究提供了宝贵的资源。

🎯 应用场景

该研究成果可应用于提升多模态大语言模型的可靠性和准确性，尤其是在需要高度精确信息输出的场景，如医疗诊断、自动驾驶、智能客服等。通过减少幻觉，提高模型生成内容的真实性和一致性，增强用户信任度，并促进MLLM在更广泛领域的应用。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) often generate hallucinations, where the output deviates from the visual content. Given that these hallucinations can take diverse forms, detecting hallucinations at a fine-grained level is essential for comprehensive evaluation and analysis. To this end, we propose a novel task of multimodal fine-grained hallucination detection and editing for MLLMs. Moreover, we propose ZINA, a novel method that identifies hallucinated spans at a fine-grained level, classifies their error types into six categories, and suggests appropriate refinements. To train and evaluate models for this task, we construct VisionHall, a dataset comprising 6.9k outputs from twelve MLLMs manually annotated by 211 annotators, and 20k synthetic samples generated using a graph-based method that captures dependencies among error types. We demonstrated that ZINA outperformed existing methods, including GPT-4o and Llama-3.2, in both detection and editing tasks.