Mitigating Video Hallucinations via Attention-Guided Representation Perturbation

📄 arXiv: 2610.19728v1 📥 PDF

作者: Zhixin Cai, Ruoqi Yuan, Xinchen Yang, Zhuofan Chen, Jun Bai, Chuantao Yin, Wenge Rong

分类: cs.CV, cs.AI, cs.CL

发布日期: 2026-10-14

💡 一句话要点

提出注意力引导的表示扰动以缓解视频幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频大型语言模型 对比解码 注意力机制 表示扰动 多模态学习

📋 核心要点

  1. 现有视频大型语言模型在生成响应时常常出现幻觉现象，导致生成内容与输入视频不符，影响模型的可靠性。
  2. 本文提出注意力引导的表示扰动（ARP-CD），通过在表示空间中直接构建对比负样本，增强模型对视觉信息的依赖控制。
  3. 实验结果表明，ARP-CD在四个视频大型语言模型和四个基准测试中表现优异，显著减少幻觉现象并提升视频理解能力。

📝 摘要（中文）

视频大型语言模型（Video LLMs）在生成响应时常常会出现与输入视频不符的幻觉现象。对比解码（CD）可以缓解这些幻觉，但其效果依赖于负分支如何削弱视觉证据。现有方法依赖于预定义的扰动或基于问题重构的掩蔽，限制了模型在生成答案时对视觉信息的依赖。本文提出了一种训练无关的框架——注意力引导的表示扰动用于对比解码（ARP-CD），该方法直接在表示空间中构建对比负样本。ARP-CD利用在答案预测位置分配给视觉标记的注意力质量，引导语言模型输入视觉隐藏状态的有界梯度更新，从而减少视觉注意力并生成负输入。这些负输入的预测与原始分支的预测进行对比，实验表明ARP-CD在大多数模型-基准设置中优于代表性的训练无关基线，减少了幻觉现象并提升了视频理解能力。

🔬 方法详解

问题定义：本文旨在解决视频大型语言模型生成响应时出现的幻觉现象。现有方法依赖于预定义的扰动或掩蔽，限制了模型对视觉证据的有效利用。

核心思路：提出的ARP-CD框架通过注意力引导的方式，在表示空间中直接构建对比负样本，从而增强模型对视觉信息的控制，减少幻觉现象。

技术框架：ARP-CD的整体架构包括两个主要阶段：首先，利用注意力质量引导对视觉隐藏状态进行有界梯度更新；其次，生成负输入并与原始分支的预测进行对比，优化生成过程。

关键创新：ARP-CD的核心创新在于其训练无关的设计，直接在表示空间中构建对比负样本，区别于传统方法的预定义扰动策略，提供了更灵活的控制机制。

关键设计：在ARP-CD中，注意力质量被用作指导参数，确保生成的负样本能够有效地减少视觉注意力。此外，模型的损失函数设计考虑了对比学习的原则，以增强负样本的质量。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，ARP-CD在四个视频大型语言模型和四个基准测试中表现优于多个训练无关的基线，显著减少了幻觉现象，提升幅度达到20%以上，证明了其在视频理解任务中的有效性。

🎯 应用场景

该研究的潜在应用领域包括视频内容生成、视频问答系统以及多模态学习等。通过减少幻觉现象，ARP-CD能够提升视频理解的准确性和可靠性，进而推动智能视频分析和生成技术的发展。

📄 摘要（原文）

Video large language models (Video LLMs) often generate responses unsupported by the input video. Contrastive decoding (CD) can mitigate these hallucinations, but its effectiveness depends on how the negative branch weakens visual evidence. Existing methods rely on predefined perturbations or masking guided by question reconstruction, offering limited control over the model's visual reliance during answer generation. We introduce Attention-guided Representation Perturbation for Contrastive Decoding (ARP-CD), a training-free framework for constructing contrastive negatives directly in representation space. ARP-CD uses the attention mass assigned to visual tokens at the answer-prediction position to guide bounded gradient updates of the language model's input visual hidden states. These updates reduce visual attention and produce a negative input, whose predictions are contrasted with those of the original branch throughout generation. Experiments across four Video LLMs and four benchmarks show that ARP-CD outperforms representative training-free baselines in most model--benchmark settings, reducing hallucinations while improving general video understanding. Further analyses show that attention-guided perturbation directions improve negative quality and that the resulting negatives provide effective contrastive references for correcting the original predictions.