From Suppression to Repair: Mitigating Object Hallucination in Large Vision-Language Models via Localized Distribution Alignment

📄 arXiv: 2610.11826v1 📥 PDF

作者: Chen Zhao, Xingping Dong, Jiachun Shi, Liang Peng, Chong Wang, Zhen Lei, Ran He, Bo Du

分类: cs.CV, cs.AI

发布日期: 2026-10-08

💡 一句话要点

提出ResOT以解决大规模视觉语言模型中的物体幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 物体幻觉 视觉语言模型 局部分布对齐 高斯最优传输 多模态学习 推理阶段修复

📋 核心要点

  1. 物体幻觉是当前大规模视觉语言模型生成内容时面临的主要挑战，现有方法往往会抑制有用信息。
  2. 本文提出ResOT，通过在推理阶段进行局部分布对齐，修复模型的表示，避免了对有用信息的抑制。
  3. 实验结果显示，ResOT在三个代表性LVLMs上显著减少了物体幻觉，并提升了图像描述质量和多模态性能。

📝 摘要（中文）

物体幻觉是大规模视觉语言模型（LVLMs）生成可靠内容的主要障碍。传统的抑制幻觉成分的方法可能削弱模型的多模态能力。本文提出了一种名为ResOT的无训练方法，通过局部分布对齐在推理时修复表示。ResOT将主导的幻觉方向投影到真实子空间之外，形成低维残差子空间进行干预。在此子空间内，ResOT利用高斯最优传输（OT）将幻觉分布与真实分布对齐，从而定义最小变化的修复目标。实验表明，ResOT显著减少了物体幻觉，同时提高了图像描述质量和多模态性能。

🔬 方法详解

问题定义：物体幻觉是大规模视觉语言模型（LVLMs）生成可靠内容的主要障碍。现有方法通过抑制幻觉成分来解决这一问题，但这可能导致有用信息的丢失，从而削弱模型的多模态能力。

核心思路：本文提出了一种名为ResOT的无训练方法，旨在通过局部分布对齐在推理时修复表示。ResOT的设计思路是将幻觉方向投影到真实子空间之外，形成一个低维的残差子空间，以便进行有效的干预。

技术框架：ResOT的整体架构包括两个主要阶段：首先，识别并投影幻觉方向；其次，在残差子空间内利用高斯最优传输（OT）对齐幻觉分布与真实分布。

关键创新：ResOT的核心创新在于其训练无关性和在推理阶段的局部分布对齐策略。这一方法与传统的抑制策略本质上不同，因为它保留了有用的信息，同时减少了幻觉的影响。

关键设计：在实现过程中，ResOT设置了适当的参数以控制每个token状态向其OT目标的移动距离，确保对原始表示的最小更改。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ResOT在三个代表性LVLMs上显著减少了物体幻觉，图像描述质量提高了XX%，多模态性能在多个基准测试中均有显著提升，具体性能数据将在代码发布时提供。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在图像生成、自动图像描述和人机交互等领域。通过减少物体幻觉，ResOT可以提升多模态模型的可靠性和实用性，推动智能助手和自动化内容生成的进步。

📄 摘要（原文）

Object hallucination remains a major obstacle for large vision-language models (LVLMs) to generate reliable content. An intuitive mitigation strategy is to suppress hallucination-related components in hidden representations. However, these components may also contain useful information, and suppressing them can weaken the model's multimodal capabilities. In this paper, we propose ResOT, a training-free method that repairs representations at inference time through localized distribution alignment. Specifically, ResOT projects dominant hallucinated directions away from the faithful subspace, forming a low-dimensional residual subspace for intervention. Within this subspace, ResOT uses Gaussian optimal transport (OT) to align the hallucinated distribution with the faithful one. The resulting map defines repair targets with minimal changes to the original representations. At inference, ResOT adaptively controls how far each token state moves toward its OT target. Experiments on three representative LVLMs show that ResOT substantially reduces object hallucination while improving image caption quality and multimodal performance across multiple benchmarks. Code will be released.