Enhancing Large Vision Language Models with Self-Training on Image Comprehension

📄 arXiv: 2405.19716v2 📥 PDF

作者: Yihe Deng, Pan Lu, Fan Yin, Ziniu Hu, Sheng Shen, Quanquan Gu, James Zou, Kai-Wei Chang, Wei Wang

分类: cs.CV, cs.CL

发布日期: 2024-05-30 (更新: 2024-11-24)

备注: 22 pages, 14 figures, 9 tables

💡 一句话要点

提出STIC，通过图像理解自训练增强大规模视觉语言模型，减少对标注数据的依赖。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 自训练 图像理解 指令调优 偏好学习

📋 核心要点

  1. LVLMs依赖高质量视觉-语言数据，但获取成本高昂，现有自训练方法难以有效提升其视觉感知和推理能力。
  2. STIC通过自构建图像描述偏好数据集，并结合逐步提示和负样本生成，实现图像理解的自训练。
  3. 实验表明，STIC在多个基准测试中显著提升LVLMs性能，平均提升4.0%，同时减少了对监督数据的依赖。

📝 摘要（中文）

大规模视觉语言模型(LVLMs)集成了大型语言模型(LLMs)和预训练的视觉编码器，从而激活了模型感知能力，理解图像输入以响应不同的查询并进行后续推理。提高这种能力需要高质量的视觉-语言数据，而获取这些数据成本高昂且劳动密集。自训练方法在单模态设置中已被证明能有效缓解对标注数据的需求，通过利用模型自身的生成能力。然而，对于LVLMs独特的视觉感知和推理能力而言，有效的自训练仍然是一个挑战。为了解决这个问题，我们引入了图像理解自训练(STIC)，它强调一种专门针对图像理解的自训练方法。首先，模型使用未标注的图像自构建一个图像描述的偏好数据集。首选的响应通过逐步提示生成，而不受欢迎的响应则从损坏的图像或误导性的提示生成。为了进一步自提升对提取的视觉信息的推理能力，我们让模型重用一小部分现有的指令调优数据，并将自生成的图像描述附加到提示中。我们在七个不同的基准上验证了STIC的有效性，证明了平均4.0%的显著性能提升，同时比当前方法减少了70%的监督微调数据。进一步的研究调查了STIC的各个组成部分，并强调了其利用大量未标注图像进行自训练的潜力。代码和数据已公开。

🔬 方法详解

问题定义：论文旨在解决大规模视觉语言模型（LVLMs）训练过程中对大量高质量标注数据依赖的问题。现有方法依赖人工标注，成本高昂且效率低下，限制了LVLMs的性能提升。此外，直接将单模态自训练方法应用于LVLMs，难以有效提升其视觉感知和推理能力。

核心思路：论文的核心思路是利用自训练方法，让LVLMs通过自身生成的数据进行学习，从而减少对人工标注数据的依赖。具体而言，模型首先利用未标注图像生成图像描述，并构建一个偏好数据集，区分“好”的描述和“坏”的描述。然后，模型利用这个偏好数据集进行训练，提升其图像理解和描述能力。

技术框架：STIC (Self-Training on Image Comprehension) 的整体框架包含以下几个主要阶段： 1. 数据生成阶段：利用未标注图像，通过逐步提示（step-by-step prompt）生成“好”的图像描述。同时，通过使用损坏的图像或误导性的提示生成“坏”的图像描述，构建偏好数据集。 2. 数据筛选阶段：对生成的数据进行筛选，去除质量较差的样本，保证训练数据的质量。 3. 模型训练阶段：利用构建的偏好数据集，训练LVLMs，提升其图像理解和描述能力。同时，为了进一步提升推理能力，模型会重用一小部分现有的指令调优数据，并将自生成的图像描述附加到提示中。

关键创新：论文最重要的技术创新点在于提出了针对LVLMs的图像理解自训练方法STIC。与现有自训练方法不同，STIC专门针对LVLMs的视觉感知和推理能力设计，通过构建偏好数据集和逐步提示等技术，有效提升了LVLMs的性能。此外，STIC还能够利用大量未标注图像进行自训练，从而减少了对人工标注数据的依赖。

关键设计： * 偏好数据集构建：使用逐步提示生成“好”的图像描述，使用损坏的图像或误导性的提示生成“坏”的图像描述。 * 逐步提示：将复杂的图像描述任务分解为多个步骤，逐步引导模型生成高质量的描述。 * 数据增强：使用数据增强技术，如图像裁剪、旋转等，增加训练数据的多样性。 * 损失函数：使用对比损失函数，鼓励模型区分“好”的描述和“坏”的描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，STIC在七个不同的基准测试中取得了显著的性能提升，平均提升4.0%。更重要的是，STIC在取得性能提升的同时，比当前方法减少了70%的监督微调数据，显著降低了对人工标注数据的依赖。这些结果验证了STIC的有效性和实用性。

🎯 应用场景

该研究成果可广泛应用于需要视觉理解和语言生成能力的场景，例如智能客服、图像搜索、自动驾驶、机器人导航等。通过减少对标注数据的依赖，可以降低模型训练成本，加速相关技术的落地和应用。未来，该方法有望进一步扩展到其他多模态任务中。

📄 摘要（原文）

Large vision language models (LVLMs) integrate large language models (LLMs) with pre-trained vision encoders, thereby activating the perception capability of the model to understand image inputs for different queries and conduct subsequent reasoning. Improving this capability requires high-quality vision-language data, which is costly and labor-intensive to acquire. Self-training approaches have been effective in single-modal settings to alleviate the need for labeled data by leveraging model's own generation. However, effective self-training remains a challenge regarding the unique visual perception and reasoning capability of LVLMs. To address this, we introduce Self-Training on Image Comprehension (STIC), which emphasizes a self-training approach specifically for image comprehension. First, the model self-constructs a preference dataset for image descriptions using unlabeled images. Preferred responses are generated through a step-by-step prompt, while dis-preferred responses are generated from either corrupted images or misleading prompts. To further self-improve reasoning on the extracted visual information, we let the model reuse a small portion of existing instruction-tuning data and append its self-generated image descriptions to the prompts. We validate the effectiveness of STIC across seven different benchmarks, demonstrating substantial performance gains of 4.0% on average while using 70% less supervised fine-tuning data than the current method. Further studies investigate various components of STIC and highlight its potential to leverage vast quantities of unlabeled images for self-training. Code and data are made publicly available.