HulluEdit: Single-Pass Evidence-Consistent Subspace Editing for Mitigating Hallucinations in Large Vision-Language Models

📄 arXiv: 2602.22727v1 📥 PDF

作者: Yangguang Lin, Quan Fang, Yufei Li, Jiachen Sun, Junyu Gao, Jitao Sang

分类: cs.CV

发布日期: 2026-02-26

备注: accepted at CVPR 2026

💡 一句话要点

提出HulluEdit以解决大型视觉语言模型中的幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型视觉语言模型 幻觉抑制 正交子空间编辑 多模态AI 高效推理

📋 核心要点

  1. 现有方法在处理大型视觉语言模型中的物体幻觉时，效率和准确性之间存在显著矛盾，难以实现有效干预。
  2. HulluEdit通过正交子空间编辑技术，提出了一种单次传递、无参考的干预框架，能够选择性地抑制幻觉模式。
  3. 实验结果显示，HulluEdit在多个基准上实现了最先进的幻觉减少效果，同时保持了模型的整体能力和推理效率。

📝 摘要（中文）

大型视觉语言模型（LVLMs）中的物体幻觉显著阻碍了其可靠部署。现有方法在效率和准确性之间难以平衡，通常需要昂贵的参考模型和多次前向传递，或应用静态编辑，可能抑制真实视觉证据。为此，本文提出HulluEdit，一个单次传递、无参考的干预框架。其核心创新是正交子空间编辑：将模型的隐藏状态分解为正交子空间——视觉证据、冲突先验和残余不确定性，能够选择性地抑制幻觉模式而不干扰视觉基础。大量实验表明，HulluEdit在POPE和CHAIR等基准上实现了最先进的幻觉减少，同时保持一般能力和高效推理，超越了对比解码和静态子空间编辑基线，提供了更可信的LVLMs的新路径。

🔬 方法详解

问题定义：本文旨在解决大型视觉语言模型中的物体幻觉问题，现有方法往往依赖于昂贵的参考模型和多次前向传递，导致效率低下，且静态编辑可能抑制真实的视觉证据。

核心思路：HulluEdit的核心思路是通过正交子空间编辑，将模型的隐藏状态分解为多个子空间，从而实现对幻觉模式的选择性抑制，而不影响真实的视觉信息。

技术框架：HulluEdit的整体架构包括三个主要模块：视觉证据子空间、冲突先验子空间和残余不确定性子空间。通过对这些子空间的独立编辑，确保了对幻觉的有效干预。

关键创新：HulluEdit的关键创新在于正交子空间编辑的设计，确保了对先验子空间的编辑不会影响视觉组件，这一设计与现有方法的多次前向传递和静态编辑形成了本质区别。

关键设计：在参数设置上，HulluEdit采用了特定的损失函数来优化幻觉抑制效果，同时保持模型的整体性能。网络结构上，采用了分层的子空间分解方法，以提高编辑的灵活性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HulluEdit在POPE和CHAIR基准上实现了最先进的幻觉减少效果，相较于对比解码和静态子空间编辑基线，性能提升显著，展示了其在多种架构上的有效性和高效推理能力。

🎯 应用场景

HulluEdit的研究成果在多个领域具有潜在应用价值，包括智能图像生成、自动化内容创作和人机交互等。通过减少幻觉现象，该方法能够提升大型视觉语言模型在实际应用中的可靠性和信任度，推动多模态AI系统的进一步发展。

📄 摘要（原文）

Object hallucination in Large Vision-Language Models (LVLMs) significantly hinders their reliable deployment. Existing methods struggle to balance efficiency and accuracy: they often require expensive reference models and multiple forward passes, or apply static edits that risk suppressing genuine visual evidence. To address this, we introduce HulluEdit, a single-pass, reference-free intervention framework. Our core innovation is orthogonal subspace editing: we decompose the hidden states of the model into orthogonal subspaces - visual evidence, conflicting priors, and residual uncertainty - enabling selective suppression of hallucinatory patterns without interfering with visual grounding. This approach mathematically guarantees that edits applied to the prior subspace leave the visual component entirely unaffected. Extensive experiments show that HulluEdit achieves state-of-the-art hallucination reduction on benchmarks including POPE and CHAIR across diverse architectures, while preserving general capabilities on MME and maintaining efficient inference. Our method consistently outperforms contrastive decoding and static subspace editing baselines, offering a new pathway toward more trustworthy LVLMs.