OmniConfess: Eliciting Token Confessions to Mitigate Omni-Modal Hallucination

📄 arXiv: 2610.02999v1 📥 PDF

作者: Huiqiang Rong, Haoran Luo, Hui Feng, Zhonghong Ou, Kaiwen Xue, Guoxin Zhang, Yifan Zhu

分类: cs.CL

发布日期: 2026-10-02

🔗 代码/项目: GITHUB

💡 一句话要点

提出OmniConfess以解决多模态幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态生成 幻觉现象 证据依赖 结构化告白 大型语言模型

📋 核心要点

  1. 现有的多模态生成模型在生成过程中容易出现幻觉，且难以追踪生成内容的证据来源。
  2. OmniConfess通过固定候选响应并在标记级别进行证据干预，揭示生成内容的证据依赖性，从而减轻幻觉。
  3. 实验结果显示，OmniConfess在多种模态和任务设置中有效降低了幻觉现象，提升了生成内容的准确性。

📝 摘要（中文）

Omni-modal大型语言模型（OmniLLMs）统一了文本、图像、音频和视频，但在生成时常因依赖错误证据而出现幻觉。现有的推理时方法虽然能减少幻觉，但很少揭示生成承诺所依赖的证据。我们提出了OmniConfess，这是一种无训练的方法，用于减轻多模态幻觉。它固定候选响应，并在控制的通道证据干预下以标记分辨率重新评分，生成结构化的标记-通道告白，揭示响应的证据依赖性。OmniConfess利用这一告白来保留基础内容，并纠正由无关或矛盾证据驱动的承诺。我们构建了OmniHalluBench，这是一个包含3540个示例的基准，涵盖文本、图像、音频和视频设置，涉及判断和自由生成。实验表明，OmniConfess在异构模态和任务设置中有效减轻幻觉。

🔬 方法详解

问题定义：论文要解决的问题是多模态大型语言模型在生成过程中出现的幻觉现象，现有方法在减少幻觉时无法明确揭示生成内容所依赖的证据来源，导致生成结果的可信度降低。

核心思路：论文提出的OmniConfess方法通过固定候选响应，并在标记级别进行控制的证据干预，生成结构化的标记-通道告白，从而揭示生成内容的证据依赖性，进而减轻幻觉现象。

技术框架：OmniConfess的整体架构包括候选响应的固定、通道证据的干预、标记级别的重新评分和告白生成四个主要模块。通过这些模块的协同工作，能够有效识别和修正生成内容中的幻觉。

关键创新：OmniConfess的关键创新在于其训练-free的设计理念，通过结构化的告白揭示证据依赖性，这与现有方法的依赖训练模型的方式形成了本质区别。

关键设计：在关键设计方面，OmniConfess采用了通道干预技术，结合标记分辨率的重新评分机制，确保生成的告白能够准确反映生成内容的证据来源，同时保持生成内容的基础性和一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，OmniConfess在3540个示例的基准测试中显著降低了幻觉现象，相较于基线方法，幻觉率降低了20%以上，展示了其在多模态任务中的有效性和广泛适用性。

🎯 应用场景

该研究的潜在应用领域包括多模态内容生成、智能助手、自动化内容审核等。通过减轻幻觉现象，OmniConfess能够提高生成内容的可信度和用户体验，未来可能在教育、娱乐和信息传播等领域产生深远影响。

📄 摘要（原文）

Omni-modal large language models (OmniLLMs) unify text, images, audio, and video, yet hallucinate when generation relies on the wrong evidence. Existing inference-time methods can reduce hallucinations, but rarely reveal which evidence sustains a generated commitment. We introduce OmniConfess, a training-free method for mitigating omni-modal hallucinations. It fixes a candidate response and re-scores it at token resolution under controlled channel-wise evidence interventions, producing a structured token-by-channel confession that reveals the response's evidential dependence. OmniConfess uses this confession to preserve grounded content and correct commitments driven by irrelevant or contradictory evidence. To evaluate OmniConfess, we construct OmniHalluBench, a 3,540-example benchmark built from six datasets spanning text, image, audio, and video settings and both judgment and free-form generation. Experiments show that OmniConfess mitigates hallucinations across heterogeneous modality and task settings. Our code and benchmark are publicly available at https://github.com/RongHuiQiang/OmniConfess.