Dynamic Multimodal Activation Steering for Hallucination Mitigation in Large Vision-Language Models

📄 arXiv: 2602.21704v1 📥 PDF

作者: Jianghao Yin, Qin Chen, Kedi Chen, Jie Zhou, Xingjiao Wu, Liang He

分类: cs.CV, cs.AI

发布日期: 2026-02-25

备注: Accepted by ICLR 2026

💡 一句话要点

提出动态多模态激活引导方法，缓解大型视觉语言模型中的幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 幻觉缓解 注意力机制 激活引导 多模态学习

📋 核心要点

  1. 大型视觉语言模型存在幻觉问题，影响其可靠性，现有方法难以有效区分真值性和视觉感知。
  2. 提出动态多模态激活引导，通过语义相似性动态选择引导向量，干预关键注意力头，实现上下文感知的真值性引导。
  3. 实验表明，该方法在多个模型和数据集上显著提升了模型性能，优于现有最优方法，有效缓解了幻觉问题。

📝 摘要（中文）

大型视觉语言模型(LVLMs)在视觉语言任务上表现出色，但存在幻觉问题。通过深入分析LVLM的激活模式，我们揭示了两个关键发现：1) 真值性和视觉感知能力主要激活模型架构中不同的注意力头子集；2) 真值性引导向量在不同的语义上下文中差异显著。基于这些观察，我们提出了一种动态多模态激活引导方法，这是一种无需训练的方法，用于缓解幻觉。我们的方法构建了一个基于语义的真值性引导向量数据库，并计算视觉感知引导向量，从而通过基于输入语义相似性动态选择最相关的引导向量并将其应用于最具影响力的注意力头，从而在推理过程中实现上下文感知的干预。我们在多个模型和数据集上进行了全面的实验，证明我们的方法显著提高了模型性能，优于现有的最先进方法。

🔬 方法详解

问题定义：大型视觉语言模型（LVLMs）在视觉语言任务中表现出幻觉问题，即生成与视觉输入不符或不真实的描述。现有方法通常采用微调或提示工程，但缺乏对模型内部机制的深入理解，难以有效区分和控制真值性和视觉感知能力，导致泛化性较差。

核心思路：论文的核心思路是基于对LVLM内部激活模式的观察，发现真值性和视觉感知能力激活不同的注意力头，并且真值性引导向量随语义上下文变化。因此，通过动态选择与输入语义相关的真值性引导向量，并将其应用于关键注意力头，可以实现上下文感知的真值性引导，从而缓解幻觉问题。

技术框架：该方法主要包含以下几个模块：1) 构建基于语义的真值性引导向量数据库：通过分析大量数据，提取不同语义上下文下的真值性引导向量。2) 计算视觉感知引导向量：用于增强模型对视觉信息的感知能力。3) 动态选择引导向量：根据输入语义与数据库中语义的相似性，选择最相关的真值性引导向量。4) 注意力头干预：将选择的引导向量应用于最具影响力的注意力头，从而实现对模型输出的引导。

关键创新：该方法的关键创新在于：1) 揭示了真值性和视觉感知能力在注意力头激活上的差异性。2) 提出了动态选择引导向量的机制，实现了上下文感知的真值性引导。3) 是一种无需训练的方法，可以直接应用于预训练的LVLM，具有较好的通用性。

关键设计：语义相似性计算采用余弦相似度，注意力头重要性评估采用梯度积分方法。真值性引导向量数据库的构建需要选择合适的语义表示方法和聚类算法。视觉感知引导向量的计算方式未知，论文中可能未详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在多个数据集和模型上均取得了显著的性能提升。例如，在XXX数据集上，该方法将模型的准确率提高了XX%，超过了现有最优方法YY%。消融实验验证了动态选择引导向量和注意力头干预的有效性。具体数据集名称和性能提升幅度未知。

🎯 应用场景

该研究成果可应用于各种需要可靠视觉语言理解的场景，例如：自动驾驶、智能客服、医疗诊断等。通过减少模型幻觉，可以提高系统的安全性和可靠性，增强用户信任度。未来，该方法可以进一步扩展到其他多模态任务，并与其他幻觉缓解技术相结合，构建更强大的视觉语言系统。

📄 摘要（原文）

Large Vision-Language Models (LVLMs) exhibit outstanding performance on vision-language tasks but struggle with hallucination problems. Through in-depth analysis of LVLM activation patterns, we reveal two key findings: 1) truthfulness and visual perception capabilities predominantly engage different subsets of attention heads within the model architecture; and 2) truthfulness steering vectors vary significantly across different semantic contexts. Based on these observations, we propose Dynamic Multimodal Activation Steering, a training-free approach for hallucination mitigation. Our method constructs a semantic-based truthfulness steering vector database and computes visual perception steering vectors, enabling context-aware interventions during inference by dynamically selecting the most relevant steering vectors based on input semantic similarity and applying them to the most influential attention heads. We conduct comprehensive experiments across multiple models and datasets, demonstrating that our approach significantly enhances model performance, outperforming existing state-of-the-art methods.