FGAIF: Aligning Large Vision-Language Models with Fine-grained AI Feedback

📄 arXiv: 2404.05046v2 📥 PDF

作者: Liqiang Jing, Xinya Du

分类: cs.CV, cs.CL

发布日期: 2024-04-07 (更新: 2025-05-06)

💡 一句话要点

提出FGAIF以解决视觉语言模型的对齐问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉语言模型 模态对齐 细粒度反馈 强化学习 人工智能反馈

📋 核心要点

  1. 现有LVLMs在文本与图像模态对齐上存在显著不足，导致多种幻觉问题。
  2. 本文提出通过细粒度人工智能反馈（FGAIF）来解决模态对齐问题，包含反馈收集和奖励模型训练等步骤。
  3. 实验结果显示，所提方法在多个基准测试中优于传统RL对齐方法，且参数需求更低。

📝 摘要（中文）

大型视觉语言模型（LVLMs）在处理多种视觉语言任务中表现出色。然而，当前的LVLMs存在文本与图像模态之间的错位，导致对象存在、属性和关系等三种幻觉问题。现有方法主要通过强化学习（RL）来对齐模态，但仍面临反馈不明确、稀疏奖励和标注成本高等三大限制。为此，本文提出了一种通过细粒度人工智能反馈（FGAIF）对齐LVLMs模态的新方法，主要包括AI反馈收集、细粒度奖励模型训练和基于细粒度奖励的强化学习三个步骤。实验结果表明，所提方法在幻觉和一般基准测试中表现优越，且在参数较少的情况下仍有效。

🔬 方法详解

问题定义：本文旨在解决大型视觉语言模型（LVLMs）中存在的文本与图像模态错位问题，具体表现为对象存在、属性和关系等幻觉现象。现有方法主要依赖强化学习（RL）进行模态对齐，但反馈不明确、奖励稀疏以及标注成本高等问题限制了其效果。

核心思路：论文提出的细粒度人工智能反馈（FGAIF）方法，通过AI工具预测响应中每个段落的幻觉类型，收集细粒度反馈，从而实现更精准的模态对齐。该设计旨在提高反馈的有效性和奖励的密集性。

技术框架：整体方法分为三个主要步骤：首先，利用AI工具收集反馈；其次，基于收集的反馈数据训练细粒度奖励模型；最后，将细粒度反馈模块集成到近端策略优化（PPO）算法中进行强化学习。

关键创新：最重要的创新点在于引入细粒度反馈机制，使得模型能够针对不同类型的幻觉提供具体的奖励，从而克服了传统方法中的反馈模糊和奖励稀疏问题。

关键设计：在奖励模型的训练中，采用了三种专门的奖励模型，以生成密集奖励。此外，细粒度反馈模块的设计与PPO算法的结合，使得模型在参数较少的情况下仍能有效对齐模态。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提FGAIF方法在多个基准测试中表现优越，相较于传统的RL对齐方法，模型在参数较少的情况下仍能实现更高的准确率，具体提升幅度达到XX%。

🎯 应用场景

该研究的潜在应用领域包括智能图像识别、自动图像描述生成以及多模态交互系统等。通过提高视觉语言模型的对齐能力，能够显著提升这些系统的准确性和用户体验，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Large Vision-Language Models (LVLMs) have demonstrated proficiency in tackling a variety of visual-language tasks. However, current LVLMs suffer from misalignment between text and image modalities which causes three kinds of hallucination problems, i.e., object existence, object attribute, and object relationship. To tackle this issue, existing methods mainly utilize Reinforcement Learning (RL) to align modalities in LVLMs. However, they still suffer from three main limitations: (1) General feedback can not indicate the hallucination type contained in the response; (2) Sparse rewards only give the sequence-level reward for the whole response; and (3)Annotation cost is time-consuming and labor-intensive. To handle these limitations, we propose an innovative method to align modalities in LVLMs through Fine-Grained Artificial Intelligence Feedback (FGAIF), which mainly consists of three steps: AI-based Feedback Collection, Fine-grained Reward Model Training, and Reinforcement Learning with Fine-grained Reward. Specifically, We first utilize AI tools to predict the types of hallucination for each segment in the response and obtain a collection of fine-grained feedback. Then, based on the collected reward data, three specialized reward models are trained to produce dense rewards. Finally, a novel fine-grained feedback module is integrated into the Proximal Policy Optimization (PPO) algorithm. Extensive experiments are conducted on hallucination and general benchmarks, demonstrating the superior performance of our proposed method. Notably, compared with previous models trained with the RL-based aligning method, our proposed method is effective even with fewer parameters.