Poison as Cure: Visual Noise for Mitigating Object Hallucinations in LVMs

📄 arXiv: 2501.19164v2 📥 PDF

作者: Kejia Zhang, Keda Tao, Jiasheng Tang, Huan Wang

分类: cs.CV

发布日期: 2025-01-31 (更新: 2025-02-21)

💡 一句话要点

提出视觉对抗扰动(VAP)方法，缓解大型视觉语言模型中的对象幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 对象幻觉 对抗扰动 视觉噪声 知识图谱

📋 核心要点

  1. 大型视觉语言模型存在对象幻觉问题，即生成看似合理但不准确的信息，影响模型可靠性。
  2. 提出视觉对抗扰动(VAP)方法，通过优化视觉噪声来抑制幻觉，无需修改模型本身。
  3. 实验表明，VAP能有效减少多个先进LVM中的对象幻觉，提升模型的事实 grounding 能力。

📝 摘要（中文）

大型视觉语言模型(LVMs)通过扩展大型语言模型(LLMs)的视觉感知能力，使其能够处理和解释视觉信息。然而，一个主要的挑战是对象幻觉，即LVMs可能生成看似合理但实际上不准确的信息，这损害了其可靠性。本文提出了一种新颖的视觉对抗扰动(VAP)方法来缓解这种幻觉问题。VAP通过应用策略性优化的视觉噪声来减轻LVM的幻觉，而无需改变基础模型。我们的方法将幻觉抑制形式化为一个优化问题，利用对抗策略生成有益的视觉扰动，从而增强模型的真实性并减少参数知识偏差。大量的实验结果表明，我们的方法始终如一地减少了8个最先进的LVM中的对象幻觉，验证了其在各种评估中的有效性。

🔬 方法详解

问题定义：大型视觉语言模型(LVMs)在理解图像内容时，容易产生“对象幻觉”，即模型会识别出图像中不存在的物体，或者对物体的属性进行错误的描述。现有的方法通常需要修改模型结构或者训练数据，成本较高，且可能影响模型在其他任务上的性能。

核心思路：本文的核心思路是，通过在输入图像中添加精心设计的视觉噪声（对抗扰动），来“迷惑”LVM，使其难以产生幻觉。这种噪声并非随机添加，而是通过优化算法，专门针对LVM的弱点进行设计，从而达到“以毒攻毒”的效果。

技术框架：该方法主要包含以下几个步骤：1) 选择一个预训练的LVM作为基础模型。2) 定义一个优化目标，该目标旨在最小化LVM产生的幻觉。3) 使用对抗攻击的方法，生成能够最大化幻觉的视觉扰动。4) 将生成的视觉扰动添加到原始图像中，得到带有噪声的图像。5) 将带有噪声的图像输入到LVM中，观察其是否能够减少幻觉。

关键创新：该方法最重要的创新点在于，它利用对抗攻击的思想，来抑制LVM的幻觉。与传统的对抗攻击不同，本文的目标不是欺骗模型，而是利用对抗样本来纠正模型的错误认知。此外，该方法不需要修改模型结构或训练数据，具有很强的通用性和可扩展性。

关键设计：在优化目标的设计上，需要仔细考虑如何量化幻觉的程度。一种常用的方法是，使用外部知识库（如维基百科）来验证LVM生成的描述是否准确。在对抗攻击的实现上，可以使用多种算法，如FGSM、PGD等。此外，还需要调整扰动的强度，以避免过度干扰图像内容。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VAP方法能够显著减少8个最先进的LVM中的对象幻觉。例如，在某些数据集上，幻觉率降低了超过20%。此外，该方法在不同的LVM架构和不同的评估指标下都表现出一致的有效性，证明了其鲁棒性和通用性。与直接修改模型或训练数据的方法相比，VAP具有更高的效率和更低的成本。

🎯 应用场景

该研究成果可应用于各种需要可靠视觉信息处理的场景，如自动驾驶、智能监控、医疗诊断等。通过减少视觉语言模型中的对象幻觉，可以提高这些系统的安全性和可靠性，避免因错误信息而导致的决策失误。未来，该技术有望进一步扩展到其他多模态任务中，提升人工智能系统的整体性能。

📄 摘要（原文）

Large vision-language models (LVMs) extend large language models (LLMs) with visual perception capabilities, enabling them to process and interpret visual information. A major challenge compromising their reliability is object hallucination that LVMs may generate plausible but factually inaccurate information. We propose a novel visual adversarial perturbation (VAP) method to mitigate this hallucination issue. VAP alleviates LVM hallucination by applying strategically optimized visual noise without altering the base model. Our approach formulates hallucination suppression as an optimization problem, leveraging adversarial strategies to generate beneficial visual perturbations that enhance the model's factual grounding and reduce parametric knowledge bias. Extensive experimental results demonstrate that our method consistently reduces object hallucinations across 8 state-of-the-art LVMs, validating its efficacy across diverse evaluations.