HulluEdit: Single-Pass Evidence-Consistent Subspace Editing for Mitigating Hallucinations in Large Vision-Language Models

📄 arXiv: 2602.22727 📥 PDF

作者: Yangguang Lin, Quan Fang, Yufei Li, Jiachen Sun, Junyu Gao, Jitao Sang

分类: cs.CV

发布日期: 2026-02-28

💡 一句话要点

HulluEdit：单次证据一致子空间编辑，缓解大型视觉语言模型中的幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 幻觉抑制 子空间编辑 正交分解 单次推理

📋 核心要点

  1. 现有LVLM方法在抑制幻觉时，面临效率与准确性的挑战，常需参考模型或多次推理，静态编辑易损失视觉证据。
  2. HulluEdit将模型隐藏状态分解为正交子空间（视觉证据、冲突先验、残余不确定性），选择性抑制幻觉模式。
  3. 实验表明，HulluEdit在多个基准测试中显著减少幻觉，同时保持通用能力和高效推理，优于现有方法。

📝 摘要（中文）

大型视觉语言模型（LVLMs）中的对象幻觉严重阻碍了其可靠部署。现有方法难以平衡效率和准确性：它们通常需要昂贵的参考模型和多次前向传播，或者应用静态编辑，这可能抑制真实的视觉证据。为了解决这个问题，我们提出了HulluEdit，一个单次、无参考的干预框架。我们的核心创新是正交子空间编辑：我们将模型的隐藏状态分解为正交子空间——视觉证据、冲突先验和残余不确定性——从而能够选择性地抑制幻觉模式，而不干扰视觉基础。这种方法在数学上保证了应用于先验子空间的编辑完全不影响视觉组件。大量实验表明，HulluEdit在包括POPE和CHAIR在内的基准测试中，在各种架构上实现了最先进的幻觉减少，同时保持了MME上的一般能力并保持了高效的推理。我们的方法始终优于对比解码和静态子空间编辑基线，为更值得信赖的LVLM提供了一条新途径。

🔬 方法详解

问题定义：大型视觉语言模型（LVLMs）容易产生对象幻觉，即生成的内容与图像不符。现有方法，如对比解码，计算成本高昂，需要多次前向传播。而静态子空间编辑可能抑制真实的视觉证据，影响模型性能。因此，如何在保证效率的同时，准确抑制幻觉，并保留视觉证据，是一个亟待解决的问题。

核心思路：HulluEdit的核心思路是将模型的隐藏状态分解为多个正交子空间，分别代表视觉证据、冲突先验和残余不确定性。通过这种分解，可以精确地定位并抑制与幻觉相关的“冲突先验”子空间，同时保证视觉证据子空间不受影响，从而在不损害模型视觉能力的前提下，减少幻觉。

技术框架：HulluEdit框架主要包含以下几个步骤：1) 隐藏状态分解：利用正交分解技术，将LVLM的隐藏状态分解为三个正交子空间。2) 幻觉抑制：对代表冲突先验的子空间进行编辑，抑制幻觉模式。3) 状态重构：将编辑后的子空间重新组合，得到修正后的隐藏状态。4) 生成：使用修正后的隐藏状态进行文本生成。整个过程只需要一次前向传播，无需参考模型。

关键创新：HulluEdit的关键创新在于正交子空间编辑。通过将隐藏状态分解为正交子空间，可以实现对特定子空间的精确干预，而不会影响其他子空间。这种方法在数学上保证了对先验子空间的编辑不会影响视觉组件，从而避免了现有方法中存在的视觉证据抑制问题。与现有方法相比，HulluEdit无需参考模型，只需单次前向传播，效率更高，且能更准确地抑制幻觉。

关键设计：HulluEdit的关键设计包括：1) 正交分解方法：论文可能采用了SVD或PCA等方法进行正交分解，具体分解方式未知。2) 子空间选择：需要确定哪个子空间代表视觉证据、冲突先验和残余不确定性，这可能需要一些启发式规则或学习方法，具体细节未知。3) 编辑策略：对冲突先验子空间进行编辑的具体方法，例如，可以采用权重衰减、梯度裁剪等技术，具体策略未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HulluEdit在POPE和CHAIR等幻觉评估基准测试中取得了state-of-the-art的结果，显著降低了LVLM的幻觉率。同时，在MME等多模态评估基准测试中，HulluEdit保持了良好的通用能力。实验结果表明，HulluEdit优于对比解码和静态子空间编辑等基线方法，证明了其有效性和优越性。

🎯 应用场景

HulluEdit可应用于各种需要可靠视觉语言理解的场景，例如自动驾驶、医疗诊断、智能客服等。通过减少LVLM中的幻觉，可以提高这些应用的可信度和安全性。该研究还有助于开发更值得信赖的AI系统，促进人机协作。

📄 摘要（原文）

Object hallucination in Large Vision-Language Models (LVLMs) significantly hinders their reliable deployment. Existing methods struggle to balance efficiency and accuracy: they often require expensive reference models and multiple forward passes, or apply static edits that risk suppressing genuine visual evidence. To address this, we introduce HulluEdit, a single-pass, reference-free intervention framework. Our core innovation is orthogonal subspace editing: we decompose the hidden states of the model into orthogonal subspaces - visual evidence, conflicting priors, and residual uncertainty - enabling selective suppression of hallucinatory patterns without interfering with visual grounding. This approach mathematically guarantees that edits applied to the prior subspace leave the visual component entirely unaffected. Extensive experiments show that HulluEdit achieves state-of-the-art hallucination reduction on benchmarks including POPE and CHAIR across diverse architectures, while preserving general capabilities on MME and maintaining efficient inference. Our method consistently outperforms contrastive decoding and static subspace editing baselines, offering a new pathway toward more trustworthy LVLMs.