Debiasing Multimodal Large Language Models via Noise-Aware Preference Optimization
作者: Zefeng Zhang, Hengzhu Tang, Jiawei Sheng, Zhenyu Zhang, Yiming Ren, Zhenyang Li, Dawei Yin, Duohe Ma, Tingwen Liu
分类: cs.CV, cs.CL
发布日期: 2025-03-23
备注: CVPR 2025
💡 一句话要点
提出噪声感知偏好优化方法，解决多模态大语言模型中的模态偏见问题。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 模态偏见 偏好优化 噪声感知 数据增强 幻觉抑制 信息融合
📋 核心要点
- 多模态大语言模型存在模态偏见问题，即过度依赖单一模态信息，忽略其他模态的关键信息，导致生成错误或不相关的回复。
- 论文提出噪声感知偏好优化方法，通过构建去偏置数据集和设计噪声鲁棒的优化算法，引导模型学习平衡利用不同模态的信息。
- 实验结果表明，该方法能有效减轻模态偏见，提升模型性能，并显著减少模型产生幻觉的可能性。
📝 摘要（中文）
多模态大语言模型在各种任务中表现出色，但常常受到模态偏见的影响，即模型倾向于过度依赖单一模态，而忽略其他模态中的关键信息，导致错误的关注点和生成不相关的响应。本文提出使用偏好优化范式来解决模态偏见问题，包括一个去偏见的偏好优化数据集RLAIFVBias和一个噪声感知偏好优化算法。具体来说，首先通过引入扰动来降低某些模态的信息含量，迫使模型在生成负面响应时依赖特定模态，从而构建数据集。为了解决自动构建数据中不可避免的噪声，将噪声鲁棒的平均绝对误差与直接偏好优化中的二元交叉熵通过负Box-Cox变换相结合，并根据数据中评估的噪声水平动态调整算法的噪声鲁棒性。大量实验验证了该方法的有效性，不仅证明了其在减轻模态偏见方面的有效性，而且在最大限度地减少幻觉方面也发挥了重要作用。
🔬 方法详解
问题定义：多模态大语言模型在处理多模态输入时，容易产生模态偏见，即过度依赖某一模态的信息，而忽略其他模态的信息，导致模型无法充分利用所有模态的信息进行推理和生成。现有方法缺乏有效的机制来平衡不同模态的重要性，容易受到噪声数据的影响，导致模型性能下降。
核心思路：论文的核心思路是利用偏好优化范式，通过构建一个包含噪声的去偏置数据集，并设计一个噪声感知的偏好优化算法，来引导模型学习如何平衡不同模态的信息，并提高模型对噪声数据的鲁棒性。通过让模型学习在特定模态信息不足时，如何更好地利用其他模态的信息，从而减轻模态偏见。
技术框架：整体框架包含两个主要部分：1) 去偏置数据集构建：通过对原始数据进行扰动，降低某些模态的信息含量，迫使模型在生成负面响应时依赖特定模态。2) 噪声感知偏好优化：设计一个噪声鲁棒的损失函数，并根据数据中评估的噪声水平动态调整算法的噪声鲁棒性。该框架利用偏好优化算法，使模型学习对不同模态信息的偏好，从而减轻模态偏见。
关键创新：最重要的技术创新点在于噪声感知的偏好优化算法。该算法结合了噪声鲁棒的平均绝对误差与直接偏好优化中的二元交叉熵，并通过负Box-Cox变换进行融合。此外，算法能够根据数据中评估的噪声水平动态调整自身的噪声鲁棒性，从而更好地适应不同噪声水平的数据。与现有方法相比，该算法能够更有效地处理噪声数据，并减轻模态偏见。
关键设计：关键设计包括：1) 数据扰动策略：设计不同的扰动方式来降低不同模态的信息含量，例如对图像进行模糊处理，对文本进行删除或替换。2) 噪声鲁棒损失函数：使用平均绝对误差来降低噪声数据对损失函数的影响。3) 动态噪声鲁棒性调整：根据数据中评估的噪声水平，动态调整Box-Cox变换的参数，从而调整算法的噪声鲁棒性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在减轻模态偏见方面取得了显著效果，模型在多个多模态任务上的性能得到了提升。更重要的是，该方法能够显著减少模型产生幻觉的可能性，这对于提高模型的可靠性和安全性至关重要。具体的性能数据和对比基线在论文中进行了详细的展示。
🎯 应用场景
该研究成果可应用于各种需要多模态信息融合的场景，例如智能客服、多模态对话系统、图像描述生成、视频理解等。通过减轻模态偏见，可以提高模型在这些场景下的性能和可靠性，从而提升用户体验和应用价值。此外，该研究提出的噪声感知偏好优化方法也可以推广到其他存在噪声数据的机器学习任务中。
📄 摘要（原文）
Multimodal Large Language Models excel in various tasks, yet often struggle with modality bias, where the model tends to rely heavily on a single modality and overlook critical information in other modalities, which leads to incorrect focus and generating irrelevant responses. In this paper, we propose using the paradigm of preference optimization to solve the modality bias problem, including RLAIFVBias, a debiased preference optimization dataset, and a Noise Aware Preference Optimization algorithm. Specifically, we first construct the dataset by introducing perturbations to reduce the informational content of certain modalities, compelling the model to rely on a specific modality when generating negative responses. To address the inevitable noise in automatically constructed data, we combine the noise robust Mean Absolute Error with the Binary Cross Entropy in Direct Preference Optimization by a negative Box Cox transformation, and dynamically adjust the algorithm noise robustness based on the evaluated noise levels in the data. Extensive experiments validate our approach, demonstrating not only its effectiveness in mitigating modality bias but also its significant role in minimizing hallucinations.