Devils in Question Relay: Source-Conditioned Relay Steering to Mitigate Hallucinations in Audio-visual Large Language Models

📄 arXiv: 2609.37568v1 📥 PDF

作者: Yu Zhang, Pingrui Zhang, Xuefeng Bai, Pengfei Zhang, Yang Xiang, Kehai Chen

分类: cs.CL

发布日期: 2026-09-29

💡 一句话要点

提出SECRET以解决音视频大语言模型中的源混淆问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音视频大语言模型 多模态理解 源混淆 问题中继机制 跨模态干扰 无训练方法 路径干预 模型优化

📋 核心要点

  1. 现有音视频大语言模型在处理多模态信息时，存在源混淆的基础幻觉问题，影响模型的可靠性。
  2. 本文提出了一种名为SECRET的无训练方法，通过干预不同模态路径来减轻跨模态干扰，优化问题中继机制。
  3. 在CMM和AVHBench等基准测试中，SECRET在多个音视频大语言模型上表现优异，提升幅度达到18.0和7.1个百分点。

📝 摘要（中文）

音视频大语言模型（AVLLMs）在多模态理解和推理方面取得了显著进展，但面临源混淆的基础幻觉问题，即未使用模态的线索干扰所需模态的响应，影响其在实际应用中的可靠性。现有方法虽然有所进展，但对内部跨模态交互导致此问题的机制理解不足。为此，本文通过路径干预和表示分析，揭示了问题中继机制，并提出了一种无训练的方法SECRET，旨在减轻跨模态干扰。实验结果表明，SECRET在多个基准测试中显著优于现有方法，有效缓解了源混淆的基础幻觉。

🔬 方法详解

问题定义：本文解决的是音视频大语言模型中的源混淆基础幻觉问题，现有方法对其产生原因的理解不足，导致干扰未能有效消除。

核心思路：论文提出的SECRET方法通过干预不同模态的路径，优化问题中继机制，使得问题状态更好地指向所需模态的证据，从而减轻干扰。

技术框架：SECRET的整体架构包括路径干预模块和问题状态调整模块。路径干预模块通过不同模态的干预生成对比问题表示，问题状态调整模块则利用这些表示引导问题状态向所需证据靠拢。

关键创新：最重要的创新点在于提出了问题中继机制的概念，并通过路径干预揭示了干扰的来源，这与现有方法的处理方式有本质区别。

关键设计：在设计中，SECRET不需要额外的训练过程，利用现有模型的输出进行干预，确保了方法的高效性和实用性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，SECRET在CMM和AVHBench基准测试中，相较于基础模型，分别提升了18.0和7.1个百分点，显著减轻了源混淆的基础幻觉，展示了其优越的性能和广泛的适用性。

🎯 应用场景

该研究的潜在应用领域包括多模态信息检索、智能助手和自动内容生成等。通过提高音视频大语言模型的可靠性，SECRET能够在实际应用中提供更准确的响应，推动多模态技术的进一步发展。

📄 摘要（原文）

Audio-visual large language models (AVLLMs) have made remarkable progress in multimodal understanding and reasoning through interactions among visual, auditory, and linguistic information. However, recent studies show that AVLLMs face a critical challenge: $\textbf{source-confused grounding hallucination}$, where cues from the unused modality induce responses that the required modality does not support, undermining reliability in real-world applications. Existing methods have made progress in mitigating this failure, yet how it arises from internal cross-modal interactions remains insufficiently understood. To address this gap, we conduct path-intervention and representation analyses, revealing a $\textbf{question-relay}$ mechanism: question states carry interfering cues alongside required-source evidence, undermining grounding in required-modality evidence. Cutting pathways from interfering modality to question states yields greater correct-answer logit recovery than cutting those to the generation position. Motivated by these findings, we propose $\textbf{SECRET}$ ($\textbf{S}$ourc$\textbf{E}$-$\textbf{C}$onditioned $\textbf{RE}$lay s$\textbf{T}$eering), a training-free method that mitigates cross-modal interference at the question relay. Using contrasting question representations elicited through different modality-pathway interventions, SECRET steers the original question states toward required-source evidence. Experiments on two widely adopted benchmarks CMM and AVHBench across three AVLLMs show that SECRET consistently outperforms prior training-free methods, substantially mitigating source-confused grounding hallucinations (e.g., up to +18.0 and +7.1 percentage points over base models). Modality-specific captioning further demonstrates its generalizability to open-ended generation.