Reefknot: A Comprehensive Benchmark for Relation Hallucination Evaluation, Analysis and Mitigation in Multimodal Large Language Models

📄 arXiv: 2408.09429v3 📥 PDF

作者: Kening Zheng, Junkai Chen, Yibo Yan, Xin Zou, Xuming Hu

分类: cs.LG, cs.CL, cs.CV

发布日期: 2024-08-18 (更新: 2025-05-30)

备注: Accepted by Findings of ACL 2025

💡 一句话要点

Reefknot：提出多模态大语言模型中关系幻觉的全面评测基准与缓解策略

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 关系幻觉 基准测试 置信度 缓解策略

📋 核心要点

  1. 现有MLLM研究主要关注对象或属性级别的幻觉，忽略了需要高级推理的关系幻觉，导致模型在复杂场景理解中出现偏差。
  2. Reefknot基准通过整合感知和认知视角，系统定义关系幻觉，并构建大规模真实世界数据集，从而全面评估MLLM的关系推理能力。
  3. 论文提出一种基于置信度的缓解策略，通过降低模型对错误关系的置信度，有效减少关系幻觉，并在多个数据集上验证了其有效性。

📝 摘要（中文）

多模态大语言模型(MLLMs)持续受到幻觉问题的影响，现有研究主要关注对象级别或属性级别的幻觉，忽略了需要高级推理的更复杂的关系幻觉。目前关系幻觉的基准测试缺乏详细的评估和有效的缓解措施，并且它们的数据集通常由于系统化的标注过程而存在偏差。为了应对这些挑战，我们引入了Reefknot，这是一个针对关系幻觉的综合基准，包含超过20,000个真实世界的样本。我们系统地定义了关系幻觉，整合了感知和认知视角，并使用Visual Genome场景图数据集构建了一个基于关系的语料库。我们的对比评估揭示了当前MLLM在处理关系幻觉方面的显著局限性。此外，我们提出了一种新颖的基于置信度的缓解策略，该策略在包括Reefknot在内的三个数据集上平均降低了9.75%的幻觉率。我们的工作为实现值得信赖的多模态智能提供了有价值的见解。

🔬 方法详解

问题定义：论文旨在解决多模态大语言模型（MLLMs）中关系幻觉问题。现有方法主要关注对象或属性级别的幻觉，忽略了更复杂、需要高级推理的关系幻觉。现有的关系幻觉基准测试缺乏详细的评估和有效的缓解措施，且数据集存在偏差，无法真实反映MLLM在复杂场景下的推理能力。

核心思路：论文的核心思路是构建一个高质量、无偏差的关系幻觉基准Reefknot，并提出一种基于置信度的缓解策略。通过Reefknot基准，可以更全面地评估MLLM在关系推理方面的能力。基于置信度的缓解策略旨在降低模型对错误关系的置信度，从而减少幻觉的产生。

技术框架：Reefknot基准的构建流程包括：1) 系统定义关系幻觉，整合感知和认知视角；2) 使用Visual Genome场景图数据集构建基于关系的语料库，包含超过20,000个真实世界样本；3) 对现有MLLM进行对比评估，分析其在关系幻觉方面的局限性。缓解策略的核心是计算模型对每个关系的置信度，并根据置信度调整模型的输出。

关键创新：论文的关键创新点在于：1) 提出了一个全面、无偏差的关系幻觉基准Reefknot，为评估和改进MLLM的关系推理能力提供了工具；2) 提出了一种基于置信度的缓解策略，能够有效降低关系幻觉率，提升MLLM的可靠性。

关键设计：Reefknot基准的关键设计包括：1) 采用Visual Genome数据集，保证了数据的真实性和多样性；2) 系统定义了关系幻觉，从感知和认知两个角度进行分析；3) 提供了详细的评估指标，方便研究人员进行对比分析。缓解策略的关键设计在于置信度的计算方法，以及如何利用置信度调整模型的输出。具体的置信度计算方法和调整策略在论文中进行了详细描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有MLLM在Reefknot基准上表现出显著的局限性，关系幻觉问题严重。论文提出的基于置信度的缓解策略在Reefknot以及其他两个数据集上，平均降低了9.75%的幻觉率，验证了该策略的有效性。这些结果为改进MLLM的关系推理能力提供了重要的参考。

🎯 应用场景

该研究成果可应用于提升多模态大语言模型在图像理解、视频分析、智能问答等领域的可靠性和准确性。通过减少关系幻觉，可以提高模型在复杂场景下的推理能力，使其在自动驾驶、智能监控、医疗诊断等领域发挥更大的作用，最终实现更值得信赖的多模态智能。

📄 摘要（原文）

Hallucination issues continue to affect multimodal large language models (MLLMs), with existing research mainly addressing object-level or attribute-level hallucinations, neglecting the more complex relation hallucinations that require advanced reasoning. Current benchmarks for relation hallucinations lack detailed evaluation and effective mitigation, and their datasets often suffer from biases due to systematic annotation processes. To address these challenges, we introduce Reefknot, a comprehensive benchmark targeting relation hallucinations, comprising over 20,000 real-world samples. We provide a systematic definition of relation hallucinations, integrating perceptive and cognitive perspectives, and construct a relation-based corpus using the Visual Genome scene graph dataset. Our comparative evaluation reveals significant limitations in current MLLMs' ability to handle relation hallucinations. Additionally, we propose a novel confidence-based mitigation strategy, which reduces the hallucination rate by an average of 9.75% across three datasets, including Reefknot. Our work offers valuable insights for achieving trustworthy multimodal intelligence.