OmniHallu: Unified Hallucination Detection for Cross-Modal Comprehension and Generation in Multimodal Large Language Models

📄 arXiv: 2609.11244v1 📥 PDF

作者: Jianjiang Yang, Peihang Li, Shanqing Xu, Mengchen Qian, Lu Zhang, Meng Luo

分类: cs.CL, cs.CV

发布日期: 2026-09-10

备注: Accepted to Findings of EMNLP 2026. 12 pages, 4 figures

💡 一句话要点

提出OmniHallu以解决多模态大语言模型中的幻觉检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 幻觉检测 跨模态理解 结构化推理 可训练验证器 多代理架构 性能优化

📋 核心要点

  1. 现有方法通常仅在单一模态或任务类型中进行幻觉检测，缺乏跨模态的通用性和有效性。
  2. 本文提出OmniHallu框架，统一处理图像、视频和音频模态的幻觉检测，增强了模型的适应性。
  3. 实验结果表明，OmniHallu在多个任务上表现优异，减少了66%的专家调用，且性能损失极小。

📝 摘要（中文）

尽管多模态大语言模型（MLLMs）在多种任务上取得了显著进展，但它们仍然面临幻觉问题，即生成的输出与输入语义相矛盾或错误。现有研究通常仅在单一模态或任务类型中处理幻觉检测，限制了其通用性。本文提出了OmniHallu，一个统一的幻觉检测框架，涵盖图像、视频和音频模态的理解与生成任务。我们贡献了OmniHallu-Bench，这是一个包含10,000个样本的基准，具有六个跨模态任务的声明级人类注释。我们的多代理架构将模型输出分解为原子声明，通过模态特定专家进行验证，并通过结构化推理聚合证据。我们还提出了一种偏好优化的可训练验证器，能够近似多代理决策边界，减少专家调用66%，并保持性能损失最小。大量实验揭示了一致的模态依赖性能梯度，并提供了对跨模态幻觉模式的细粒度洞察。

🔬 方法详解

问题定义：本论文旨在解决多模态大语言模型中的幻觉检测问题，现有方法在处理不同模态时的有效性不足，导致生成结果与输入语义不一致。

核心思路：OmniHallu通过统一的框架，结合理解与生成任务，利用多代理架构对模型输出进行细致验证，从而提高幻觉检测的准确性和通用性。

技术框架：整体架构包括多个模块：首先将模型输出分解为原子声明，然后通过模态特定的专家进行验证，最后通过结构化推理聚合证据，形成最终的判断结果。

关键创新：最重要的创新在于提出了偏好优化的可训练验证器，显著减少了对专家的调用次数，同时保持了模型的性能，提升了检测效率。

关键设计：在设计中，采用了多代理架构和结构化推理方法，设置了适当的损失函数以优化验证器的训练过程，确保了在减少计算资源消耗的同时，保持了高准确率。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，OmniHallu在六个跨模态任务上均表现出色，相较于基线方法，减少了66%的专家调用次数，且性能损失极小，验证了其高效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、内容生成、自动化审核等，能够有效提升多模态系统的可靠性和用户体验。未来，OmniHallu有望在更广泛的跨模态任务中应用，推动多模态理解与生成技术的发展。

📄 摘要（原文）

While Multimodal Large Language Models (MLLMs) have achieved remarkable progress across diverse tasks, they suffer from hallucinations where generated outputs contradict or misrepresent input semantics. Existing research typically addresses hallucination detection within a single modality or task type, limiting generalizability. We introduce OmniHallu, a unified hallucination detection framework spanning both comprehension and generation tasks across image, video, and audio modalities. We contribute OmniHallu-Bench, a 10,000-sample benchmark with claim-level human annotations covering six cross-modal tasks: image-to-text (I2T), video-to-text (V2T), audio-to-text (A2T), text-to-image (T2I), text-to-video (T2V), and text-to-audio (T2A). Our multi-agent architecture decomposes model outputs into atomic claims, verifies them through modality-specific experts, and aggregates evidence via structured reasoning. We further propose a preference-optimized trainable verifier that approximates the multi-agent decision boundary, reducing expert calls by 66% with minimal performance loss. Extensive experiments reveal a consistent modality-dependent performance gradient and provide fine-grained insights into cross-modal hallucination patterns.