DAMA: Data- and Model-aware Alignment of Multi-modal LLMs

📄 arXiv: 2502.01943v2 📥 PDF

作者: Jinda Lu, Junkang Wu, Jinghan Li, Xiaojun Jia, Shuo Wang, YiFan Zhang, Junfeng Fang, Xiang Wang, Xiangnan He

分类: cs.CV

发布日期: 2025-02-04 (更新: 2025-02-11)

💡 一句话要点

DAMA：数据与模型感知的多模态LLM对齐方法，提升模型可信度与效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 大型语言模型 直接偏好优化 数据感知 模型感知 幻觉抑制 可信度

📋 核心要点

  1. 现有MLLM对齐方法对不同难度数据响应不平衡，易过拟合简单数据，欠拟合复杂数据。
  2. DAMA通过数据感知和模型感知策略，动态调整优化过程，使模型适应不同难度数据。
  3. 实验表明，DAMA显著提升了模型的可信度与通用任务效果，在幻觉减少方面超越GPT-4V。

📝 摘要（中文）

本文提出了一种数据和模型感知的直接偏好优化方法（DAMA），旨在解决多模态大型语言模型（MLLM）与人类偏好对齐时，对不同难度数据响应不平衡的问题。现有方法容易过拟合易区分的数据，而欠拟合难区分的数据。DAMA从数据硬度和实时模型响应两个关键方面动态调整优化过程。数据感知策略考虑了数据硬度，模型感知策略集成了实时模型响应。通过结合这两种策略，DAMA使模型能够有效地适应不同难度级别的数据。在五个基准测试上的大量实验表明，DAMA不仅显著提高了可信度，还提高了通用任务的有效性。例如，在Object-HalBench上，DAMA-7B将响应级别和提及级别的幻觉分别减少了90.0%和95.3%，超过了GPT-4V的性能。

🔬 方法详解

问题定义：现有直接偏好优化（DPO）方法在对齐多模态大型语言模型（MLLM）时，存在对不同难度数据处理不平衡的问题。模型容易过度关注容易区分的数据，导致过拟合；而对于难以区分的数据，模型学习不足，导致欠拟合。这种不平衡影响了模型的可信度和泛化能力。

核心思路：DAMA的核心思路是根据数据的难易程度和模型的实时反馈，动态地调整优化过程。通过引入数据感知策略和模型感知策略，使模型能够更加关注难区分的数据，并根据自身的表现进行调整，从而提高对齐的质量和效率。这样设计的目的是为了解决现有方法中存在的过拟合和欠拟合问题，提升模型在各种难度数据上的表现。

技术框架：DAMA的整体框架包含两个主要模块：数据感知模块和模型感知模块。数据感知模块负责评估数据的难度，并根据难度调整优化权重。模型感知模块则根据模型的实时响应，调整优化策略。这两个模块协同工作，共同指导模型的训练过程。具体流程为：首先，数据感知模块评估数据难度；然后，模型感知模块根据模型响应调整优化策略；最后，模型根据调整后的策略进行训练。

关键创新：DAMA最重要的技术创新在于其数据感知和模型感知的双重动态调整机制。与现有方法相比，DAMA不仅考虑了数据的固有属性（难度），还考虑了模型在训练过程中的实时表现。这种双重感知机制使得DAMA能够更加精细地控制优化过程，从而提高模型的对齐效果。

关键设计：数据感知策略通过计算每个数据的损失值来衡量数据难度，损失值越大，数据难度越高。模型感知策略则根据模型在每个数据上的预测结果，调整优化权重。具体而言，对于模型预测错误的数据，增加其优化权重；对于模型预测正确的数据，降低其优化权重。损失函数采用标准的DPO损失函数，但引入了数据难度和模型响应的权重。网络结构与基线模型保持一致，没有引入额外的网络层。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DAMA在Object-HalBench上取得了显著的性能提升，DAMA-7B将响应级别和提及级别的幻觉分别减少了90.0%和95.3%，超越了GPT-4V。此外，在其他四个基准测试上也显示出DAMA在可信度和通用任务效果方面的显著优势。这些实验结果表明，DAMA能够有效地解决多模态LLM对齐中的数据不平衡问题，并提高模型的整体性能。

🎯 应用场景

DAMA可应用于各种需要多模态理解和生成任务的场景，例如智能客服、视觉问答、机器人导航等。通过提高模型的可信度和准确性，DAMA能够提升这些应用的用户体验和实用价值。未来，DAMA有望在医疗诊断、自动驾驶等高风险领域发挥重要作用，减少模型幻觉带来的潜在风险。

📄 摘要（原文）

Direct Preference Optimization (DPO) has shown effectiveness in aligning multi-modal large language models (MLLM) with human preferences. However, existing methods exhibit an imbalanced responsiveness to the data of varying hardness, tending to overfit on the easy-to-distinguish data while underfitting on the hard-to-distinguish data. In this paper, we propose Data- and Model-aware DPO (DAMA) to dynamically adjust the optimization process from two key aspects: (1) a data-aware strategy that incorporates data hardness, and (2) a model-aware strategy that integrates real-time model responses. By combining the two strategies, DAMA enables the model to effectively adapt to data with varying levels of hardness. Extensive experiments on five benchmarks demonstrate that DAMA not only significantly enhances the trustworthiness, but also improves the effectiveness over general tasks. For instance, on the Object-HalBench, our DAMA-7B reduces response-level and mentioned-level hallucination by 90.0% and 95.3%, respectively, surpassing the performance of GPT-4V.