Decompose and Leverage Preferences from Expert Models for Improving Trustworthiness of MLLMs

📄 arXiv: 2411.13697v1 📥 PDF

作者: Rui Cao, Yuming Jiang, Michael Schlichtkrull, Andreas Vlachos

分类: cs.CV

发布日期: 2024-11-20

💡 一句话要点

提出DecompGen框架，利用专家模型分解评估MLLM响应，提升其可信度。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 可信度评估 偏好学习 专家模型 开源模型

📋 核心要点

  1. 现有MLLM评估方法依赖单一评估模型，难以处理复杂推理任务，且多使用闭源模型。
  2. DecompGen框架将MLLM响应分解为原子任务，分配给不同的开源专家模型进行评估。
  3. 实验表明，使用DecompGen构建的DGPref数据集对齐的MLLM，其可信度得到了有效提升。

📝 摘要（中文）

多模态大型语言模型(MLLM)可以通过与人类偏好对齐来提高可信度。由于人工标注人类偏好非常耗时，最近的研究采用评估模型来评估MLLM的响应，并使用基于模型的评估来自动构建偏好数据集。然而，这种方法在处理MLLM冗长且组合性的响应时面临挑战，这些响应通常需要单个评估模型可能无法完全掌握的多种推理技能。此外，大多数现有方法依赖于闭源模型作为评估器。为了解决这些限制，我们提出了DecompGen，一个可分解的框架，它使用开源专家模型的集合。DecompGen将每个响应分解为原子验证任务，并将每个任务分配给适当的专家模型以生成细粒度的评估。DecompGen反馈用于自动构建我们的偏好数据集DGPref。通过偏好学习与DGPref对齐的MLLM在可信度方面表现出改进，证明了DecompGen的有效性。

🔬 方法详解

问题定义：现有方法在评估多模态大型语言模型（MLLM）的响应时，面临着两个主要问题。一是MLLM的响应通常很长且具有组合性，需要多种推理能力，而单个评估模型可能无法完全胜任。二是现有方法大多依赖于闭源模型作为评估器，这限制了其可访问性和可扩展性。因此，如何更有效地评估MLLM的响应，并利用评估结果提升其可信度，是一个亟待解决的问题。

核心思路：DecompGen的核心思路是将复杂的MLLM响应评估任务分解为多个更小的、原子性的验证任务，并将这些任务分配给不同的、擅长特定领域的开源专家模型。通过这种“分而治之”的方法，可以更全面、更准确地评估MLLM的响应，并克服单一评估模型的局限性。同时，使用开源模型也提高了框架的可访问性和可扩展性。

技术框架：DecompGen框架主要包含以下几个阶段：1) 响应分解：将MLLM的响应分解为多个原子性的验证任务。2) 专家分配：根据每个任务的特点，将其分配给最合适的开源专家模型。3) 专家评估：每个专家模型独立评估其分配到的任务，并生成细粒度的评估结果。4) 结果整合：将所有专家模型的评估结果整合起来，形成对MLLM响应的综合评估。5) 偏好数据集构建：利用DecompGen的反馈自动构建偏好数据集DGPref。6) 偏好学习：使用DGPref数据集对MLLM进行偏好学习，以提升其可信度。

关键创新：DecompGen的关键创新在于其可分解的评估框架，以及对开源专家模型的集成利用。与现有方法相比，DecompGen能够更全面、更准确地评估MLLM的响应，并且具有更好的可访问性和可扩展性。此外，DecompGen还提出了一种自动构建偏好数据集的方法，从而降低了人工标注的成本。

关键设计：在响应分解阶段，需要设计合适的分解策略，以确保每个原子任务都足够简单且易于评估。在专家分配阶段，需要建立一个专家模型库，并设计一种有效的分配机制，以确保每个任务都能分配给最合适的专家模型。在结果整合阶段，需要设计一种合理的整合方法，以将不同专家模型的评估结果综合起来，形成对MLLM响应的综合评估。具体参数设置和损失函数等细节在论文中未明确说明，属于未知信息。

📊 实验亮点

该研究提出的DecompGen框架，通过分解评估任务并利用开源专家模型，有效提升了MLLM的可信度。实验结果表明，使用DecompGen构建的DGPref数据集进行偏好学习后，MLLM在可信度方面取得了显著提升，证明了该方法的有效性。具体的性能数据和提升幅度在论文中未明确给出，属于未知信息。

🎯 应用场景

DecompGen框架可应用于各种需要评估和提升多模态大型语言模型可信度的场景，例如智能客服、教育辅导、内容创作等。通过提高MLLM的可靠性和安全性，可以促进其在更广泛领域的应用，并减少潜在的负面影响。该研究还有助于推动开源评估模型的发展和应用。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) can enhance trustworthiness by aligning with human preferences. As human preference labeling is laborious, recent works employ evaluation models for assessing MLLMs' responses, using the model-based assessments to automate preference dataset construction. This approach, however, faces challenges with MLLMs' lengthy and compositional responses, which often require diverse reasoning skills that a single evaluation model may not fully possess. Additionally, most existing methods rely on closed-source models as evaluators. To address limitations, we propose DecompGen, a decomposable framework that uses an ensemble of open-sourced expert models. DecompGen breaks down each response into atomic verification tasks, assigning each task to an appropriate expert model to generate fine-grained assessments. The DecompGen feedback is used to automatically construct our preference dataset, DGPref. MLLMs aligned with DGPref via preference learning show improvements in trustworthiness, demonstrating the effectiveness of DecompGen.