Robust Multimodal Large Language Models Against Modality Conflict

📄 arXiv: 2507.07151v1 📥 PDF

作者: Zongmeng Zhang, Wengang Zhou, Jie Zhao, Houqiang Li

分类: cs.CV, cs.AI, cs.CL

发布日期: 2025-07-09

备注: ICML 2025

💡 一句话要点

针对多模态大语言模型中的模态冲突问题，提出鲁棒性提升方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 模态冲突 幻觉 鲁棒性 强化学习 监督微调 提示工程 视觉-语言任务

📋 核心要点

  1. 现有MLLM易受幻觉影响，现有研究较少关注输入模态间的冲突。
  2. 论文核心在于识别并缓解多模态输入间的冲突，避免模型陷入困境。
  3. 通过构建数据集和实验，验证了强化学习和监督微调方法在缓解幻觉方面的有效性。

📝 摘要（中文）

多模态大语言模型(MLLM)在视觉-语言任务中表现出令人印象深刻的能力，但它们容易在实际场景中产生幻觉。本文从模态冲突的角度研究了MLLM中的幻觉现象。与现有关注模型响应与输入之间冲突的工作不同，我们研究了来自不同模态的输入中固有的冲突，这些冲突使MLLM陷入困境并直接导致幻觉。我们正式定义了模态冲突，并构建了一个名为多模态模态冲突(MMMC)的数据集，以模拟视觉-语言任务中的这种现象。提出了三种基于提示工程、监督微调和强化学习的方法来缓解由模态冲突引起的幻觉。在MMMC数据集上进行了大量实验，以分析这些方法的优缺点。结果表明，强化学习方法在缓解模态冲突下的幻觉方面表现最佳，而监督微调方法显示出有希望且稳定的性能。我们的工作揭示了导致幻觉的未被注意到的模态冲突，并为MLLM的鲁棒性提供了更多见解。

🔬 方法详解

问题定义：论文旨在解决多模态大语言模型(MLLM)在处理视觉-语言任务时，由于不同模态输入之间存在冲突而导致的幻觉问题。现有方法主要关注模型输出与输入之间的不一致性，忽略了输入模态本身可能存在的冲突，这使得模型难以做出正确的判断。

核心思路：论文的核心思路是识别并缓解多模态输入之间的冲突。当不同模态的信息相互矛盾时，模型容易产生幻觉。通过设计特定的训练方法，使模型能够更好地理解和处理这些冲突，从而减少幻觉的发生。

技术框架：论文构建了一个名为MMMC（Multimodal Modality Conflict）的数据集，用于模拟视觉-语言任务中的模态冲突现象。然后，论文提出了三种方法来缓解幻觉：1) 基于提示工程的方法，通过设计特定的提示来引导模型；2) 基于监督微调的方法，使用MMMC数据集对模型进行微调；3) 基于强化学习的方法，通过奖励模型正确处理模态冲突的行为来训练模型。

关键创新：论文最重要的创新点在于关注了多模态输入之间固有的冲突，并将其定义为模态冲突。与以往研究关注输出与输入之间的冲突不同，该论文深入研究了输入层面的问题，为解决MLLM的幻觉问题提供了新的视角。

关键设计：在强化学习方法中，论文设计了奖励函数，用于鼓励模型在面对模态冲突时做出正确的判断。具体的奖励函数设计未知，但其目标是使模型能够区分不同模态信息的可靠性，并选择最合适的答案。监督微调方法使用了交叉熵损失函数，以最小化模型预测与真实标签之间的差异。提示工程方法则依赖于人工设计的提示模板，引导模型关注关键信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于强化学习的方法在缓解模态冲突引起的幻觉方面表现最佳，而监督微调方法显示出有希望且稳定的性能。具体性能数据未知，但论文强调了强化学习方法在处理模态冲突方面的优势，以及监督微调方法在实际应用中的潜力。这些结果验证了论文提出的方法的有效性。

🎯 应用场景

该研究成果可应用于各种视觉-语言任务，例如图像描述、视觉问答、机器人导航等。通过提高MLLM的鲁棒性，可以减少模型在实际应用中产生幻觉的风险，从而提高系统的可靠性和安全性。未来，该研究可以扩展到其他多模态任务，例如语音-语言、文本-图像生成等。

📄 摘要（原文）

Despite the impressive capabilities of multimodal large language models (MLLMs) in vision-language tasks, they are prone to hallucinations in real-world scenarios. This paper investigates the hallucination phenomenon in MLLMs from the perspective of modality conflict. Unlike existing works focusing on the conflicts between model responses and inputs, we study the inherent conflicts in inputs from different modalities that place MLLMs in a dilemma and directly lead to hallucinations. We formally define the modality conflict and construct a dataset named Multimodal Modality Conflict (MMMC) to simulate this phenomenon in vision-language tasks. Three methods based on prompt engineering, supervised fine-tuning, and reinforcement learning are proposed to alleviate the hallucination caused by modality conflict. Extensive experiments are conducted on the MMMC dataset to analyze the merits and demerits of these methods. Our results show that the reinforcement learning method achieves the best performance in mitigating the hallucination under modality conflict, while the supervised fine-tuning method shows promising and stable performance. Our work sheds light on the unnoticed modality conflict that leads to hallucinations and provides more insights into the robustness of MLLMs.