Semantic-Spatial Agreement Verification for Mitigating Object Hallucination in Multimodal Large Language Models

📄 arXiv: 2609.17269v1 📥 PDF

作者: Ziheng Ren, Qian Gao, Jun Fan, Guohui Ding, Zhenyu Yang, Yuteng Xiao

分类: cs.CV

发布日期: 2026-09-15

💡 一句话要点

提出语义-空间一致性验证以解决多模态大语言模型的对象幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 对象幻觉 语义验证 空间一致性 视觉理解 药物辅助 环境决策

📋 核心要点

  1. 现有的多模态大语言模型在生成响应时可能会出现对象幻觉，导致提及图像中不存在的对象，造成安全隐患。
  2. 本文提出的语义-空间一致性验证（SSAV）方法，通过验证对象声明的语义和空间一致性，来降低对象幻觉的发生。
  3. 在LLaVA-1.5-7B模型上，SSAV在COCO、A-OKVQA和GQA数据集上的准确率分别提升了1.81和3.17个百分点，同时CHAIrs的错误率从49.40%降至32.80%。

📝 摘要（中文）

多模态大语言模型通过视觉输入生成自然语言响应，但可能会提及图像中不存在的对象。在药物辅助、可及感知和环境决策等领域，这种幻觉可能带来现实世界的安全风险。为此，本文提出了一种训练无关的方法——语义-空间一致性验证（SSAV），用于验证对象声明的准确性。SSAV通过聚合多个提示来估计语义支持，并降低对查询措辞的敏感性。实验结果表明，SSAV有效减轻了对象幻觉问题，提升了模型在多个评估协议下的准确性。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在生成自然语言响应时可能出现的对象幻觉问题。现有方法在验证对象声明的准确性方面存在不足，容易受到查询措辞的影响。

核心思路：SSAV的核心思想是通过语义和空间一致性来验证对象声明的有效性，确保在不同的查询中，模型能够稳定地定位到同一图像区域。

技术框架：SSAV的整体架构包括多个模块，其中查询诱导区域验证（QIRV）结合了跨查询区域持久性、空间重叠和相对候选主导性，以识别高响应和分散定位。

关键创新：SSAV的主要创新在于其训练无关的验证机制，通过聚合多个提示来降低对单一查询的敏感性，并利用几何平均来融合语义和空间证据。

关键设计：在设计中，SSAV采用了多个参数设置以优化验证过程，使用几何平均作为损失函数来降低缺乏支持的验证分数，确保验证结果的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SSAV在LLaVA-1.5-7B模型上，准确率在COCO、A-OKVQA和GQA数据集上分别提升了1.81和3.17个百分点，同时CHAIrs的错误率显著降低，从49.40%降至32.80%。这些结果表明，跨查询的语义稳定性和区域一致性为对象声明提供了可解释的外部视觉证据。

🎯 应用场景

该研究的潜在应用领域包括医疗辅助、环境决策和可及感知等场景，能够有效提升多模态大语言模型在实际应用中的安全性和可靠性。未来，SSAV方法有望推广至更多需要视觉理解的任务中，减少模型生成错误信息的风险。

📄 摘要（原文）

Multimodal large language models generate natural-language responses from visual inputs, yet may mention objects absent from an image. In medication assistance, accessible perception, and environmental decision-making, such hallucinations can create real-world safety risks. We propose Semantic-Spatial Agreement Verification (SSAV), a training-free method for verifying object claims. A visually grounded claim should remain stable across semantically equivalent queries and repeatedly localize to the same image region. SSAV aggregates multiple prompts to estimate semantic support and reduce sensitivity to query wording. Query-Induced Regional Verification (QIRV) combines cross-query region persistence, spatial overlap, and relative candidate dominance to identify isolated high responses and dispersed localizations. A geometric mean fuses semantic and spatial evidence, lowering the verification score when either branch lacks support. Experiments on three base models and multiple evaluation protocols show that SSAV effectively mitigates object hallucination. On LLaVA-1.5-7B, accuracy averaged across COCO, A-OKVQA, and GQA improves by 1.81 and 3.17 percentage points under POPE Popular and Adversarial, respectively, while CHAIRs decreases from 49.40% to 32.80%. These results show that cross-query semantic stability and regional consistency provide interpretable external visual evidence for object claims.