Online Self-Calibration Against Hallucination in Vision-Language Models

📄 arXiv: 2605.00323v1 📥 PDF

作者: Minghui Chen, Chenxu Yang, Hengjie Zhu, Dayan Wu, Zheng Lin, Qingyi Si

分类: cs.CV, cs.LG

发布日期: 2026-05-01

备注: IJCAI 2026

💡 一句话要点

提出OSCAR框架，在线自校准视觉-语言模型中的幻觉问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言模型 幻觉问题 在线自校准 蒙特卡洛树搜索 直接偏好优化

📋 核心要点

  1. 现有LVLMs易产生幻觉，离线偏好对齐方法存在监督-感知不匹配问题。
  2. OSCAR利用LVLMs的生成-判别差距，通过在线自校准提升模型性能。
  3. 实验表明，OSCAR在幻觉基准测试中达到SOTA，并提升了多模态能力。

📝 摘要（中文）

大型视觉-语言模型(LVLMs)常常遭受幻觉问题，即生成描述包含输入图像中不存在的视觉细节。现有的偏好对齐方法通常依赖于从更强大的模型（如GPT）中提炼的监督信息。然而，这种离线模式引入了监督-感知不匹配问题：学生模型被迫与超出其感知能力的细粒度细节对齐，从而学习猜测而非观察。为了获得可靠的自监督进行在线学习，我们识别出LVLMs中存在的生成-判别差距，即模型在判别验证任务上比开放式生成任务表现出更高的准确性。利用这种能力，我们提出了在线自校准(OSCAR)框架，该框架集成了蒙特卡洛树搜索和双粒度奖励机制，以构建偏好数据，并通过直接偏好优化迭代地改进模型。大量实验表明，OSCAR在幻觉基准测试中实现了最先进的性能，同时提高了通用多模态能力。

🔬 方法详解

问题定义：论文旨在解决大型视觉-语言模型（LVLMs）中普遍存在的幻觉问题，即模型生成的描述包含输入图像中不存在的视觉细节。现有方法通常采用离线蒸馏的方式，依赖于更强大的模型（如GPT）提供监督信号，但这种方式存在“监督-感知不匹配”的问题，学生模型被迫学习超出其感知能力的细节，导致模型倾向于猜测而非真正理解图像内容。

核心思路：论文的核心思路是利用LVLMs自身在生成和判别任务上的能力差异。作者发现，LVLMs在判别验证任务（判断某个描述是否符合图像内容）上的准确率高于开放式生成任务。因此，可以通过自监督的方式，利用模型自身的判别能力来校准生成能力，避免依赖外部的强监督信号。

技术框架：OSCAR框架主要包含以下几个阶段：1) 蒙特卡洛树搜索（MCTS）：利用MCTS探索不同的文本描述，并根据奖励函数评估每个描述的质量。2) 双粒度奖励机制：设计了细粒度和粗粒度两种奖励信号，细粒度奖励关注描述的细节准确性，粗粒度奖励关注描述的整体流畅性和相关性。3) 直接偏好优化（DPO）：使用DPO算法，根据MCTS生成的偏好数据，迭代地优化LVLM，使其更倾向于生成符合图像内容的描述。

关键创新：最重要的技术创新点在于提出了在线自校准的框架，避免了对外部强监督信号的依赖，而是利用模型自身的判别能力进行学习。此外，双粒度奖励机制的设计也能够更好地平衡描述的细节准确性和整体质量。

关键设计：MCTS的搜索策略、奖励函数的具体形式（包括细粒度和粗粒度奖励的计算方式）、DPO算法的参数设置等都是关键的设计细节。例如，细粒度奖励可以通过计算生成描述与图像中实际存在的物体之间的相似度来获得，粗粒度奖励可以通过评估描述的流畅度和与图像的整体相关性来获得。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

OSCAR在多个幻觉基准测试中取得了state-of-the-art的性能，显著降低了模型产生的幻觉。例如，在某基准测试中，OSCAR将幻觉率降低了XX%，超过了现有最佳方法YY%。同时，实验还表明，OSCAR在提高模型幻觉抑制能力的同时，并没有牺牲其通用多模态能力，甚至在某些任务上有所提升。

🎯 应用场景

该研究成果可应用于各种需要视觉-语言理解的场景，例如图像描述生成、视觉问答、机器人导航等。通过减少模型产生的幻觉，可以提高这些应用的可信度和可靠性，例如在自动驾驶中，避免模型错误地识别不存在的障碍物，从而提高安全性。此外，该方法还可以用于提升视觉辅助工具的性能，帮助视力障碍人士更好地理解周围环境。

📄 摘要（原文）

Large Vision-Language Models (LVLMs) often suffer from hallucinations, generating descriptions that include visual details absent from the input image. Recent preference alignment methods typically rely on supervision distilled from stronger models such as GPT. However, this offline paradigm introduces a Supervision-Perception Mismatch: the student model is forced to align with fine-grained details beyond its perceptual capacity, learning to guess rather than to see. To obtain reliable self-supervision for online learning, we identify a Generative-Discriminative Gap within LVLMs, where models exhibit higher accuracy on discriminative verification than open-ended generation. Leveraging this capability, we propose \textbf{O}nline \textbf{S}elf-\textbf{CA}lib\textbf{R}ation (OSCAR), a framework that integrates Monte Carlo Tree Search with a Dual-Granularity Reward Mechanism to construct preference data and iteratively refines the model via Direct Preference Optimization. Extensive experiments demonstrate that OSCAR achieves state-of-the-art performance on hallucination benchmarks while improving general multimodal capabilities.