Relevant Evidence Decoding for Audio-Visual Hallucination Mitigation

📄 arXiv: 2610.02976v1 📥 PDF

作者: Hyunjae Ra, Aecheon Jung, Jungin Park, Sungeun Hong

分类: cs.AI

发布日期: 2026-10-02

💡 一句话要点

提出相关证据解码以缓解音视频幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音视频幻觉 跨模态学习 相关证据解码 点互信息 多模态模型 预测支持 模型优化

📋 核心要点

  1. 现有的音视频大型语言模型容易受到跨模态幻觉的影响，导致预测不准确。
  2. 本文提出的相关证据解码（RED）方法通过识别与问题相关的证据，增强其在预测中的贡献。
  3. 在多个基准测试中，RED在准确率上超过标准解码，提升幅度最高可达7%。

📝 摘要（中文）

音视频大型语言模型（AV-LLMs）仍然容易出现跨模态幻觉，即一种模态错误地影响另一种模态的预测。尽管对比解码可以减少视觉-语言模型中的幻觉，但直接将其扩展到AV-LLMs时忽视了一个关键挑战：不同的问题需要不同的感知证据，包括音频、视频或它们的交互。我们观察到，联合音视频推理可能会削弱预测，即使模型能够从单一信息模态中恢复正确答案。为此，本文提出了一种训练无关的方法——相关证据解码（RED），通过量化音频和视频提供的预测支持，选择性地增强其贡献。RED在三个音视频幻觉基准和三个AV-LLMs上提高了准确率，标准解码的准确率提升幅度最高可达7%。

🔬 方法详解

问题定义：本文旨在解决音视频大型语言模型中的跨模态幻觉问题，现有方法未能有效处理不同问题所需的感知证据。

核心思路：相关证据解码（RED）通过量化音频和视频的预测支持，选择性地增强与问题相关的证据贡献，从而提高模型的预测准确性。

技术框架：RED的整体架构包括三个主要模块：首先进行问题仅推理以确定所需的证据类型，然后计算音频和视频的点互信息（PMI），最后增强原始的音视频预测。

关键创新：RED的创新在于其训练无关性和对音频、视频及其交互贡献的分解，解决了传统方法未能有效处理的跨模态影响问题。

关键设计：RED使用点互信息量化音频和视频的贡献，设计了相应的参数设置以优化预测支持，并确保模型在不同问题上能够灵活调整其证据使用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在三个音视频幻觉基准测试中，RED方法在准确率上相较于标准解码提升了最高7%，在CMM上提升6.3%，在AVHBench上提升3.8%。同时，RED的平均首次令牌生成时间为标准解码的1.5倍，显示出其高效性。

🎯 应用场景

该研究的潜在应用领域包括多模态信息检索、智能助理和自动内容生成等。通过提高音视频模型的准确性，RED能够在实际应用中减少错误预测，提升用户体验，具有重要的实际价值和未来影响。

📄 摘要（原文）

Audio-Visual Large Language Models (AV-LLMs) remain prone to cross-modal hallucinations, where one modality incorrectly affects predictions about another. Although contrastive decoding reduces hallucinations in vision-language models, its direct extension to AV-LLMs overlooks a key challenge: different questions require different perceptual evidence, including audio, video, or their interaction. Notably, we observe that joint audio-visual inference can weaken the prediction even when a model can recover the correct answer from a single informative modality. For example, when asked which instrument is heard, a model may correctly predict violin from the audio alone. Once a video showing a guitar is added, its confidence in violin may drop. In this paper, we introduce Relevant Evidence Decoding (RED), a training-free method that identifies question-relevant evidence and selectively strengthens its contribution. RED uses pointwise mutual information to quantify the predictive support provided by audio and video beyond the question alone. It decomposes their joint contribution into audio, video, and residual interaction components. A question-only inference pass determines the required evidence type, after which the model augments the original audio-visual prediction with the corresponding PMI contribution. Across three audio-visual hallucination benchmarks and three AV-LLMs, RED improves accuracy over standard decoding by up to 7% on CMM, 6.3% on AVHBench, and 3.8% on SVHalluc, with an average relative time to first token of 1.5x standard decoding.