Identify, Isolate, and Purge: Mitigating Hallucinations in LVLMs via Self-Evolving Distillation
作者: Wenhao Li, Xiu Su, Jingyi Wu, Feng Yang, Yang Liu, Yi Chen, Shan You, Chang Xu
分类: cs.LG, cs.AI, cs.CV
发布日期: 2025-07-07 (更新: 2025-08-19)
备注: In Figure 2, the correlation coefficient and the scatter plot do not match. I calculated this correlation using two sets of settings. I used the scatter plot from setting A, but accidentally wrote the correlation coefficient, r, from setting B
💡 一句话要点
提出SEED框架，通过自进化蒸馏缓解大型视觉语言模型中的幻觉问题。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 大型视觉语言模型 幻觉缓解 自进化蒸馏 知识蒸馏 模式搜索 视觉语言理解
📋 核心要点
- 现有LVLM缓解幻觉的方法依赖外部工具或多轮推理，导致推理时间显著增加，效率较低。
- SEED框架通过自进化蒸馏，在LVLM内部识别、隔离和清除幻觉，并将净化后的知识蒸馏回模型。
- 实验表明，SEED能有效缓解LVLM的幻觉问题，例如LLaVA-1.5在POPE-Random上的F1得分从81.3提升至88.3。
📝 摘要（中文）
大型视觉语言模型(LVLMs)在多媒体等领域取得了显著进展。然而，幻觉问题严重限制了其可信度和应用潜力。现有的缓解方法通常依赖于外部工具或多轮推理的比较，这显著增加了推理时间。本文提出了自进化蒸馏(SEED)，它识别LVLM内部知识中的幻觉，隔离并清除它们，然后将净化的知识蒸馏回模型，实现自进化。此外，我们发现传统的蒸馏方法容易在LVLM的输出空间中诱导空白区域。为了解决这个问题，我们提出了一种Mode-Seeking Evolving方法，该方法执行蒸馏以捕获净化知识分布的主要模式，从而避免可能从空白区域出现的混乱结果。此外，我们引入了一个幻觉消除适配器，通过学习净化的知识来纠正原始模型的暗知识。在多个基准上的大量实验验证了SEED的优越性，证明了在缓解LLaVA-1.5和InternVL2等代表性LVLM模型的幻觉方面取得了显著改进。值得注意的是，LLaVA-1.5在幻觉评估指标POPE-Random上的F1得分从81.3提高到88.3。
🔬 方法详解
问题定义：论文旨在解决大型视觉语言模型（LVLM）中普遍存在的幻觉问题，即模型生成与输入图像不符或不真实的描述。现有方法，如依赖外部工具或多轮推理，增加了计算成本和推理延迟，限制了LVLM的实际应用。
核心思路：论文的核心思路是通过自进化蒸馏，让LVLM能够自我识别、隔离和清除内部知识中的幻觉，并将净化后的知识重新整合到模型中。这种方法避免了对外部资源的依赖，提高了效率。同时，论文还关注到传统蒸馏方法可能引入的输出空间空白区域问题，并提出了相应的解决方案。
技术框架：SEED框架包含以下几个主要阶段：1) 幻觉识别：识别LVLM内部知识中存在的幻觉。2) 幻觉隔离与清除：将识别出的幻觉从模型知识中移除。3) 知识蒸馏：将净化后的知识蒸馏回原始模型，使其具备更准确的知识表达。4) Mode-Seeking Evolving：采用一种模式搜索的进化方法，捕获净化知识分布的主要模式，避免空白区域带来的混乱结果。5) 幻觉消除适配器：通过学习净化后的知识来纠正原始模型的暗知识。
关键创新：论文的关键创新在于提出了一个完全自包含的、自进化的幻觉缓解框架。与依赖外部资源的方法不同，SEED能够在LVLM内部完成幻觉的识别、清除和知识更新，从而提高了效率和可扩展性。此外，Mode-Seeking Evolving方法解决了传统蒸馏可能引入的输出空间空白区域问题，保证了蒸馏过程的稳定性。
关键设计：论文提出了Hallucination Elimination Adapter，通过学习净化知识来纠正原始模型的暗知识。Mode-Seeking Evolving方法通过调整蒸馏过程中的损失函数，鼓励模型学习净化知识分布的主要模式，避免陷入空白区域。具体的参数设置和网络结构细节在论文中进行了详细描述，但此处未知。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SEED框架能够显著缓解LVLM的幻觉问题。例如，在LLaVA-1.5模型上，使用SEED后，在POPE-Random数据集上的F1得分从81.3提升到88.3，提升幅度显著。此外，SEED在InternVL2等其他LVLM模型上也取得了类似的改进效果，验证了其通用性和有效性。
🎯 应用场景
该研究成果可广泛应用于需要高度可靠性的视觉语言任务中，例如医疗影像诊断、自动驾驶、智能客服等。通过减少LVLM的幻觉，可以提高决策的准确性和安全性，增强用户信任度，并推动LVLM在更多实际场景中的应用。
📄 摘要（原文）
Large Vision-Language Models (LVLMs) have demonstrated remarkable advancements in numerous areas such as multimedia. However, hallucination issues significantly limit their credibility and application potential. Existing mitigation methods typically rely on external tools or the comparison of multi-round inference, which significantly increase inference time. In this paper, we propose \textbf{SE}lf-\textbf{E}volving \textbf{D}istillation (\textbf{SEED}), which identifies hallucinations within the inner knowledge of LVLMs, isolates and purges them, and then distills the purified knowledge back into the model, enabling self-evolution. Furthermore, we identified that traditional distillation methods are prone to inducing void spaces in the output space of LVLMs. To address this issue, we propose a Mode-Seeking Evolving approach, which performs distillation to capture the dominant modes of the purified knowledge distribution, thereby avoiding the chaotic results that could emerge from void spaces. Moreover, we introduce a Hallucination Elimination Adapter, which corrects the dark knowledge of the original model by learning purified knowledge. Extensive experiments on multiple benchmarks validate the superiority of our SEED, demonstrating substantial improvements in mitigating hallucinations for representative LVLM models such as LLaVA-1.5 and InternVL2. Remarkably, the F1 score of LLaVA-1.5 on the hallucination evaluation metric POPE-Random improved from 81.3 to 88.3.