NoiseBoost: Alleviating Hallucination with Noise Perturbation for Multimodal Large Language Models

📄 arXiv: 2405.20081v2 📥 PDF

作者: Kai Wu, Boyuan Jiang, Zhengkai Jiang, Qingdong He, Donghao Luo, Shengzhi Wang, Qingwen Liu, Chengjie Wang

分类: cs.CV, cs.AI

发布日期: 2024-05-30 (更新: 2024-05-31)

备注: 14 pages, 5 figures with supplementary material

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出NoiseBoost以解决多模态大语言模型的幻觉问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 幻觉现象 噪声扰动 半监督学习 视觉信息 语言信息 模型优化

📋 核心要点

  1. 现有的多模态大语言模型在生成图像描述时常常出现幻觉现象，主要由于对语言信息的过度依赖。
  2. 本文提出NoiseBoost，通过噪声特征扰动作为正则化器，促进视觉与语言信息的平衡关注，减轻幻觉现象。
  3. 实验结果显示，NoiseBoost在密集描述准确性上提高了8.1%，并在使用50%数据时仍能取得相似的效果。

📝 摘要（中文）

多模态大语言模型（MLLMs）在理解视觉信息方面具有强大的能力，但在生成详细图像描述时常常出现幻觉现象。本文分析表明，幻觉源于大语言模型的固有摘要机制，导致对语言标记的过度依赖，而忽视了视觉信息。为此，本文提出NoiseBoost，一种简单且广泛适用的方法，通过集成噪声特征扰动来缓解MLLMs的幻觉。噪声扰动作为正则化器，促进视觉和语言标记之间注意力权重的平衡分布。尽管方法简单，NoiseBoost在多种训练策略下均能显著提升MLLMs的性能，并首次实现了MLLMs的半监督学习，充分利用未标记数据。实验结果表明，NoiseBoost在密集描述准确性上提高了8.1%，并在使用50%数据时取得了可比结果。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在生成图像描述时出现的幻觉问题。现有方法过于依赖语言标记，导致忽视视觉信息，进而影响生成质量。

核心思路：NoiseBoost的核心思路是通过引入噪声特征扰动，作为正则化手段，来平衡视觉和语言信息的注意力分配，从而减轻幻觉现象。

技术框架：NoiseBoost的整体架构包括噪声扰动生成模块和注意力权重调整模块。噪声扰动生成模块负责生成适当的噪声特征，而注意力权重调整模块则根据噪声特征重新分配视觉和语言标记的注意力。

关键创新：NoiseBoost的创新之处在于首次将噪声扰动引入多模态大语言模型的训练中，改变了传统的依赖语言信息的训练方式，从而有效减轻幻觉现象。

关键设计：在设计上，NoiseBoost使用了特定的噪声扰动参数设置，并结合了适当的损失函数来优化模型性能。此外，网络结构上对视觉和语言特征的融合进行了优化，以确保信息的有效整合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

NoiseBoost在实验中表现出色，密集描述准确性提高了8.1%。此外，通过挖掘未标记数据，该方法在使用50%数据的情况下仍能取得与全数据集相当的结果，显示出其在半监督学习中的潜力。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在图像描述生成、视觉问答和多模态内容创作等领域。通过减轻幻觉现象，NoiseBoost能够提升用户体验，增强模型在实际应用中的可靠性和准确性，未来可能推动多模态AI技术的进一步发展。

📄 摘要（原文）

Multimodal large language models (MLLMs) contribute a powerful mechanism to understanding visual information building on large language models. However, MLLMs are notorious for suffering from hallucinations, especially when generating lengthy, detailed descriptions for images. Our analysis reveals that hallucinations stem from the inherent summarization mechanism of large language models, leading to excessive dependence on linguistic tokens while neglecting vision information. In this paper, we propose NoiseBoost, a broadly applicable and simple method for alleviating hallucinations for MLLMs through the integration of noise feature perturbations. Noise perturbation acts as a regularizer, facilitating a balanced distribution of attention weights among visual and linguistic tokens. Despite its simplicity, NoiseBoost consistently enhances the performance of MLLMs across common training strategies, including supervised fine-tuning and reinforcement learning. Further, NoiseBoost pioneerly enables semi-supervised learning for MLLMs, unleashing the power of unlabeled data. Comprehensive experiments demonstrate that NoiseBoost improves dense caption accuracy by 8.1% with human evaluation and achieves comparable results with 50% of the data by mining unlabeled data. Code and models are available at https://kaiwu5.github.io/noiseboost.