Bridging the Visual Gap: Fine-Tuning Multimodal Models with Knowledge-Adapted Captions
作者: Moran Yanuka, Assaf Ben Kish, Yonatan Bitton, Idan Szpektor, Raja Giryes
分类: cs.CV, cs.CL, cs.LG
发布日期: 2024-11-13 (更新: 2025-04-15)
备注: Accepted to NAACL 2025
期刊: Proceedings of the 2025 Conference of the North American Chapter of the Association for Computational Linguistics, Human Language Technologies, Long Papers, pp. 10497-10518
DOI: 10.18653/v1/2025.naacl-long.527
💡 一句话要点
提出KnowAda微调方法，提升小规模视觉语言模型在生成知识增强型图像描述时的准确性，并减少幻觉。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言模型 图像描述生成 幻觉抑制 知识自适应 微调 多模态学习 数据增强
📋 核心要点
- 小规模视觉语言模型难以平衡长文本描述的丰富性与生成幻觉内容的风险，现有方法难以有效解决该问题。
- KnowAda微调方法通过数据自适应的方式，利用模型已有的知识和视觉理解来调整训练数据，从而减少幻觉。
- 实验结果表明，KnowAda在多个小规模VLM和数据集上，均优于现有基线方法，有效平衡了描述性和幻觉抑制。
📝 摘要（中文）
本文研究了视觉语言模型（VLMs）在长而详细的图像描述训练中的适应性，尤其关注小规模VLMs在平衡描述丰富性和避免生成幻觉内容方面的挑战。为了量化描述质量，我们提出了分解式NLI（DNLI）评估框架，将生成的描述分解为独立的命题，并分别评估。该分析揭示了捕捉描述性细节和防止幻觉之间的关键平衡。研究表明，简单地降低描述复杂度或采用标准数据管理技术并不能有效解决这个问题。为此，我们引入了知识自适应（KnowAda）微调，这是一种以数据为中心的方法，可以利用模型现有的知识和视觉理解自动调整训练数据，从而在保持高描述性的同时最大限度地减少幻觉。我们在多个小规模VLMs（参数高达70亿）和密集描述数据集上验证了该方法，结果表明KnowAda在自动指标和人工评估中均优于各种基线。
🔬 方法详解
问题定义：论文旨在解决小规模视觉语言模型（VLMs）在生成长而详细的图像描述时，容易产生幻觉内容的问题。现有方法，如降低描述复杂度或使用标准数据管理技术，无法有效解决描述性和幻觉之间的平衡问题。
核心思路：KnowAda的核心思路是利用模型已有的知识和视觉理解能力，自动调整训练数据，从而减少模型在生成描述时产生幻觉。通过让模型专注于其已知的内容，并避免引入可能导致幻觉的未知信息，从而提高生成描述的准确性。
技术框架：KnowAda微调方法主要包含以下几个阶段：1) 使用Decomposed NLI (DNLI)评估框架来量化caption的质量，将生成的caption分解为独立的命题，并分别评估。2) 基于DNLI的评估结果，自动识别并调整训练数据，使其更符合模型的现有知识和视觉理解。3) 使用调整后的数据对VLM进行微调。
关键创新：KnowAda的关键创新在于其数据自适应性。它不是简单地减少描述的复杂性，而是根据模型自身的知识水平来调整训练数据，从而更有效地减少幻觉。这种方法允许模型在保持描述性的同时，避免生成其不确定的内容。
关键设计：KnowAda的关键设计包括：1) DNLI评估框架，用于细粒度地评估生成描述的质量。2) 数据调整策略，根据DNLI的评估结果，自动修改或过滤训练数据。具体的参数设置和损失函数细节在论文中未明确给出，属于未知信息。
🖼️ 关键图片
📊 实验亮点
KnowAda在多个小规模VLMs（参数高达70亿）和密集描述数据集上进行了验证，实验结果表明，KnowAda在自动指标和人工评估中均优于各种基线方法，有效平衡了幻觉减少和描述性。具体的性能提升数据在摘要中未给出，需要查阅论文全文。
🎯 应用场景
该研究成果可应用于图像描述生成、视觉问答、图像检索等领域。通过减少视觉语言模型生成描述时的幻觉，可以提高这些应用的可信度和实用性。未来，该方法有望应用于更广泛的多模态学习任务，提升模型的可靠性和泛化能力。
📄 摘要（原文）
Recent research increasingly focuses on training vision-language models (VLMs) with long, detailed image captions. However, small-scale VLMs often struggle to balance the richness of these captions with the risk of hallucinating content during fine-tuning. In this paper, we explore how well VLMs adapt to such captions. To quantify caption quality, we propose Decomposed NLI (DNLI), an evaluation framework that breaks down generated captions into individual propositions, assessing each in isolation. This fine-grained analysis reveals a critical balance between capturing descriptive details and preventing hallucinations. Our findings show that simply reducing caption complexity or employing standard data curation techniques does not effectively resolve this issue. To tackle this challenge, we introduce Knowledge Adapted (KnowAda) fine-tuning, a data-centric approach that automatically adapts training data with the model's existing knowledge and visual understanding. KnowAda minimizes hallucinations while preserving high descriptiveness. We validate this approach across several small-scale VLMs (up to 7B parameters) and dense caption datasets, demonstrating that KnowAda effectively balances hallucination reduction and descriptiveness. Our results show that KnowAda outperforms various baselines in both automatic metrics and human evaluations. We will release our code and models.