Mitigating Object Hallucination via Robust Local Perception Search

📄 arXiv: 2506.06729v1 📥 PDF

作者: Zixian Gao, Chao Yang, Zhanhui Zhou, Xing Xu, Chaochao Lu

分类: cs.CV, cs.CL

发布日期: 2025-06-07

💡 一句话要点

提出局部感知搜索(LPS)方法，有效缓解多模态大语言模型中的对象幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 对象幻觉 局部感知搜索 视觉先验 解码策略

📋 核心要点

  1. 多模态大语言模型存在对象幻觉问题，生成内容与图像不符，影响模型可靠性。
  2. 提出局部感知搜索(LPS)方法，利用局部视觉先验信息指导解码过程，抑制幻觉。
  3. LPS无需训练，即插即用，在幻觉基准测试和噪声数据上显著降低了幻觉发生率。

📝 摘要（中文）

多模态大语言模型(MLLMs)的最新进展使其能够有效地整合视觉和语言信息，从而解决各种下游任务。然而，尽管取得了显著的成功，这些模型仍然表现出幻觉现象，即输出看起来合理，但与图像的内容不一致。为了缓解这个问题，我们引入了局部感知搜索(LPS)，这是一种在推理过程中使用的解码方法，它既简单又无需训练，但能有效地抑制幻觉。该方法利用局部视觉先验信息作为价值函数来纠正解码过程。此外，我们观察到局部视觉先验对模型性能的影响在图像噪声较高的情况下更为明显。值得注意的是，LPS是一种即插即用的方法，与各种模型兼容。在广泛使用的幻觉基准和噪声数据上的大量实验表明，与基线相比，LPS显著降低了幻觉的发生率，尤其是在噪声环境中表现出卓越的性能。

🔬 方法详解

问题定义：多模态大语言模型在理解图像内容并生成相关描述时，容易出现对象幻觉问题。即模型生成的文本中包含图像中不存在的对象或属性，或者错误地描述了图像中存在的对象。现有方法难以有效抑制这种幻觉现象，降低了模型在实际应用中的可靠性。

核心思路：论文的核心思路是利用局部视觉先验信息来指导模型的解码过程。作者认为，模型产生幻觉的原因之一是缺乏对图像局部区域的准确感知。通过在解码过程中引入局部视觉信息，可以约束模型的生成，使其更符合图像的实际内容，从而减少幻觉的发生。

技术框架：LPS方法是一个即插即用的解码策略，可以在现有的多模态大语言模型上直接应用。其主要流程如下：1）使用模型生成初始文本序列；2）对于每个token，计算其对应的局部视觉区域；3）利用局部视觉信息（例如，视觉特征的相似度）作为价值函数，评估当前token的合理性；4）根据价值函数调整token的概率分布，选择更符合局部视觉信息的token。

关键创新：LPS的关键创新在于将局部视觉先验信息融入到解码过程中，从而实现对幻觉的有效抑制。与现有方法相比，LPS无需额外的训练，具有更好的通用性和可扩展性。此外，LPS方法充分利用了图像的局部信息，避免了全局信息可能带来的噪声干扰。

关键设计：LPS方法中的价值函数设计是关键。作者使用局部视觉区域的视觉特征相似度作为价值函数，具体实现方式未知。此外，如何确定每个token对应的局部视觉区域也是一个重要的设计细节，论文中可能未详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LPS方法在多个幻觉基准测试中显著降低了幻觉发生率，尤其是在噪声环境下表现出卓越的性能。具体性能数据未知，但论文强调LPS相比于基线方法有显著提升。LPS的即插即用特性使其易于集成到各种多模态大语言模型中，具有很强的实用价值。

🎯 应用场景

该研究成果可广泛应用于需要可靠多模态理解的场景，例如图像描述生成、视觉问答、机器人导航等。通过降低对象幻觉，可以提高模型在这些应用中的准确性和可靠性，从而提升用户体验和应用价值。未来，该方法有望进一步扩展到其他多模态任务中，并与其他幻觉抑制技术相结合，构建更强大的多模态智能系统。

📄 摘要（原文）

Recent advancements in Multimodal Large Language Models (MLLMs) have enabled them to effectively integrate vision and language, addressing a variety of downstream tasks. However, despite their significant success, these models still exhibit hallucination phenomena, where the outputs appear plausible but do not align with the content of the images. To mitigate this issue, we introduce Local Perception Search (LPS), a decoding method during inference that is both simple and training-free, yet effectively suppresses hallucinations. This method leverages local visual prior information as a value function to correct the decoding process. Additionally, we observe that the impact of the local visual prior on model performance is more pronounced in scenarios with high levels of image noise. Notably, LPS is a plug-and-play approach that is compatible with various models. Extensive experiments on widely used hallucination benchmarks and noisy data demonstrate that LPS significantly reduces the incidence of hallucinations compared to the baseline, showing exceptional performance, particularly in noisy settings.