Beyond Visual Enhancement: Adaptive Multi-Context Steering to Mitigate LVLM Hallucinations

📄 arXiv: 2610.11907v1 📥 PDF

作者: Shuran Ma, JiaLe Li, Yuxin Dong, Shan Zheng, Qingyun Jiang, Xiang Chen, Qi Zhu, Deyi Ji, Yifan Yang, Jianfeng Pan, Yu Tian, Xue Yang

分类: cs.CV, cs.AI

发布日期: 2026-10-08

💡 一句话要点

提出AIMS框架以缓解LVLM中的幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型视觉语言模型 幻觉抑制 自适应引导 多模态融合 无训练框架

📋 核心要点

  1. 幻觉问题在LVLMs中普遍存在，现有方法多依赖视觉增强，未能有效解决该问题。
  2. 提出AIMS框架，通过自适应协调多种上下文源，动态调节其贡献以减轻幻觉。
  3. 实验结果显示，AIMS在多个LVLM和解码策略中有效减轻了幻觉，同时保持了多模态能力的竞争性。

📝 摘要（中文）

幻觉问题在大型视觉语言模型（LVLMs）中仍然是一个重大挑战。现有的无训练方法通常通过对比解码或视觉增强来减轻幻觉，但这往往增加了生成过程中视觉证据的相对影响力。本文探讨了LVLMs如何动态调节不同上下文源的贡献，以抑制幻觉。我们发现LVLMs具有内在的视觉关注倾向，可以引导自适应视觉引导，同时文本上下文也能帮助减轻幻觉。基于这些发现，我们提出了AIMS（自适应信息多源引导），这是一个轻量级的无训练框架，能够在解码过程中自适应地协调视觉、预填文本和生成上下文。实验表明，AIMS有效减轻了物体幻觉，同时保持了竞争力的多模态能力。

🔬 方法详解

问题定义：本文旨在解决LVLMs中的幻觉问题，现有方法往往通过视觉增强来减轻幻觉，但效果有限且可能导致生成质量下降。

核心思路：AIMS框架通过自适应地协调视觉、预填文本和生成上下文，动态调节不同上下文源的贡献，以实现更有效的幻觉抑制。

技术框架：AIMS构建了三个上下文域的紧凑原型，并根据当前查询估计它们的亲和力，从而确定头部引导权重。最终的多源引导方向应用于查询表示，实现自适应上下文整合。

关键创新：AIMS的创新在于其轻量级设计和无训练特性，能够在不增加模型训练或辅助前向传递的情况下，动态整合多种上下文源。

关键设计：AIMS的关键设计包括上下文原型的构建、亲和力估计和头部引导权重的计算，确保了不同上下文源的有效整合。具体参数设置和损失函数的选择未在摘要中详细说明，需参考原文。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AIMS在多个LVLM上有效减轻了物体幻觉，相较于基线方法，幻觉抑制效果提升显著，具体性能数据需参考原文以获取详细信息。

🎯 应用场景

该研究的潜在应用领域包括智能助手、图像描述生成和多模态检索等。通过有效减轻幻觉问题，AIMS框架能够提升这些应用的准确性和用户体验，具有重要的实际价值和未来影响。

📄 摘要（原文）

Hallucination remains a significant challenge in Large Vision-Language Models (LVLMs). Existing training-free methods generally mitigate hallucinations through contrastive decoding or visual enhancement, often increasing the relative influence of visual evidence during generation. This raises a fundamental question: Can LVLMs dynamically regulate the contributions of different context sources to suppress hallucinations? In this work, we investigate and quantify how LVLMs coordinate multiple context sources during decoding and examine how this intrinsic behavior can guide hallucination mitigation. We find that LVLMs exhibit an intrinsic vision-attending tendency that can guide adaptive visual steering, while textual contexts can also contribute to hallucination mitigation. Motivated by these findings, we propose AIMS (Adaptive Information Multi-source Steering), a lightweight training-free framework that adaptively coordinates visual, prefilled textual, and generated contexts during decoding. Specifically, AIMS constructs compact prototypes for the three context domains and estimates their affinities with the current query to determine head-wise steering weights. The resulting multi-source steering direction is applied to the query representation, enabling adaptive context integration without additional model training or auxiliary forward passes. Extensive experiments across multiple LVLMs and decoding strategies demonstrate that AIMS effectively mitigates object hallucination while maintaining competitive general-purpose multimodal capabilities.