HallE-Control: Controlling Object Hallucination in Large Multimodal Models

📄 arXiv: 2310.01779v3 📥 PDF

作者: Bohan Zhai, Shijia Yang, Chenfeng Xu, Sheng Shen, Kurt Keutzer, Chunyuan Li, Manling Li

分类: cs.CV

发布日期: 2023-10-03 (更新: 2024-03-28)

备注: Our code is publicly available at https://github.com/bronyayang/HallE_Control

💡 一句话要点

提出HallE-Control以解决多模态模型中的对象幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态模型 对象幻觉 视觉理解 详细描述 上下文知识 参数知识 GPT-4

📋 核心要点

  1. 现有的大型多模态模型在详细描述时存在对象幻觉的问题，影响了其视觉理解的准确性。
  2. 本文提出了HallE-Control，通过控制上下文知识和参数知识的使用，来减少对象幻觉的发生。
  3. 实验结果表明，HallE-Control相比于LLaVA$_{7B}$减少了44%的幻觉，同时保持了对象覆盖率。

📝 摘要（中文）

当前的大型多模态模型（LMMs）在视觉细节的准确理解上仍存在显著的不确定性，尤其是在详细描述方面。为此，本文引入了$ extit{CCEval}$，一种基于GPT-4的详细描述评估方法。尽管在现有的视觉问答基准中，LMMs表现出较少的对象存在幻觉，但我们的评估显示它们仍然容易受到幻觉的影响。我们首次从多个方面探讨了这种幻觉，包括图像分辨率、语言解码器大小以及指令数据的数量、质量和粒度。研究结果表明，当语言描述包含比视觉模块能够验证的更细粒度的对象细节时，会导致不必要的推断，从而引发幻觉。为控制这种幻觉，我们提出了$ extit{HallE-Control}$，一种可控的LMM，能够在上下文知识和参数知识之间进行切换，从而减少幻觉发生。

🔬 方法详解

问题定义：本文旨在解决大型多模态模型在详细描述中出现的对象幻觉问题。现有方法在处理细粒度视觉信息时，容易产生不准确的推断。

核心思路：论文的核心思路是通过引入HallE-Control，控制模型在生成描述时对上下文知识和参数知识的依赖，从而减少幻觉的发生。

技术框架：整体架构包括两个主要模块：上下文知识模块和参数知识模块。上下文知识模块专注于已知的、可验证的对象，而参数知识模块则处理模型推断出的对象。

关键创新：最重要的技术创新在于首次系统性地探讨了对象幻觉的成因，并提出了HallE-Control作为解决方案，显著提高了描述的准确性。

关键设计：在模型设计中，关键参数包括上下文知识和参数知识的比例设置，以及损失函数的设计，确保模型在生成描述时能够有效区分已知和推断的对象。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，HallE-Control在减少对象幻觉方面表现优异，相比于LLaVA$_{7B}$，幻觉发生率降低了44%，同时保持了对象覆盖率，验证了其有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括智能图像描述、自动化内容生成和人机交互等。通过提高多模态模型在视觉理解方面的准确性，HallE-Control能够为相关领域带来更高的实用价值，推动智能系统的发展。

📄 摘要（原文）

Current Large Multimodal Models (LMMs) achieve remarkable progress, yet there remains significant uncertainty regarding their ability to accurately apprehend visual details, that is, in performing detailed captioning. To address this, we introduce $\textit{CCEval}$, a GPT-4 assisted evaluation method for detailed captioning. Interestingly, while LMMs demonstrate minimal object existence hallucination in existing VQA benchmarks, our proposed evaluation reveals continued susceptibility to such hallucinations. In this paper, we make the first attempt to investigate such hallucination from different aspects, including image resolution, the language decoder size, and instruction data amount, quality, granularity. Our findings underscore the unwarranted inference when the language description includes details at a finer object granularity than what the vision module can ground or verify, thus inducing hallucination. To control such hallucinations, we further attribute the reliability of captioning to contextual knowledge (involving only contextually grounded objects) and parametric knowledge (containing inferred objects by the model). Thus, we introduce $\textit{HallE-Control}$, a controllable LMM in terms of $\textbf{Hall}$ucination in object $\textbf{E}$xistence. HallE-Control can condition the captioning to shift between (i) exclusively depicting contextual knowledge for grounded objects and (ii) blending it with parametric knowledge to imagine inferred objects. Our method reduces hallucination by 44% compared to LLaVA$_{7B}$ and maintains the object coverage.