A Chain-of-Thought Subspace Meta-Learning for Few-shot Image Captioning with Large Vision and Language Models
作者: Hao Huang, Shuaihang Yuan, Yu Hao, Congcong Wen, Yi Fang
分类: cs.CV
发布日期: 2025-02-19
备注: 11 pages, 3 figures, 5 tables
💡 一句话要点
提出链式思考子空间元学习方法，提升少样本图像描述生成效果
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 图像描述生成 少样本学习 链式思考 元学习 视觉语言模型 多模态学习
📋 核心要点
- 现有少样本图像描述生成方法难以有效利用视觉信息，单步提示策略限制了模型生成准确描述的能力。
- 提出链式思考元学习，模拟人类多步描述过程，并为每个步骤学习独立的元参数子空间，避免干扰。
- 在多个数据集上的实验表明，该方法在少样本图像描述生成任务中显著优于现有基线方法。
📝 摘要（中文）
大规模视觉-语言预训练模型编码了丰富的视觉和语言先验知识，使其更容易生成自然逼真的图像和语言。然而，视觉和语言模态之间仍然存在显著的领域差距，尤其是在少样本场景下，训练数据非常有限。为了缓解这个问题，本文提出了一种多模态元学习框架，通过引入可调提示连接两个冻结的预训练视觉-语言大模型，从而弥合两者之间的差距。针对少样本图像描述生成任务，现有的多模态元学习框架采用单步提示方案来累积输入图像的视觉特征，以指导语言模型，但这种方法难以仅用少量训练样本生成准确的图像描述。本文提出一种链式思考（CoT）元学习方案，作为多步图像描述生成过程，以更好地模仿人类描述图像的方式。此外，本文进一步提出学习模型在不同CoT步骤中对应的不同元参数，并将它们置于不同的子空间中，以避免相互干扰。在MSCOCO、Flickr8k和Flickr30k三个常用图像描述数据集上进行的少样本实验表明，本文提出的链式思考子空间元学习策略在不同指标下均优于基线方法。
🔬 方法详解
问题定义：论文旨在解决少样本图像描述生成任务中，现有方法难以有效利用视觉信息，导致生成描述不准确的问题。现有方法通常采用单步提示策略，将视觉特征一次性输入语言模型，无法充分挖掘图像信息，尤其是在数据量极少的情况下，效果不佳。
核心思路：论文的核心思路是模仿人类描述图像的思维过程，采用链式思考（Chain-of-Thought, CoT）的方式，将图像描述生成分解为多个步骤，逐步生成更准确的描述。同时，为了避免不同步骤之间的参数干扰，为每个CoT步骤学习独立的元参数子空间。
技术框架：整体框架包含两个预训练的冻结模型：视觉模型和语言模型。通过一个可学习的Prompt连接两个模型。训练过程采用元学习范式，旨在学习一个能够快速适应新任务的Prompt。关键在于CoT的引入，将图像描述生成分解为多个步骤，每个步骤对应一个Prompt和一组元参数。
关键创新：关键创新在于链式思考（CoT）的引入和子空间元学习。CoT使得模型能够像人类一样逐步思考并生成描述，而子空间元学习则保证了不同CoT步骤的参数独立性，避免了相互干扰，提升了模型的泛化能力。与现有单步提示方法相比，CoT能够更好地利用视觉信息，生成更准确的描述。
关键设计：每个CoT步骤都包含一个Prompt和一组元参数。Prompt用于将视觉特征转换为语言模型的输入，元参数则用于调整Prompt的行为。论文采用子空间学习的方法，为每个CoT步骤学习独立的元参数子空间。损失函数采用标准的交叉熵损失，用于优化Prompt和元参数。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在MSCOCO、Flickr8k和Flickr30k数据集上，该方法在少样本图像描述生成任务中显著优于现有基线方法。例如，在MSCOCO数据集上，该方法在CIDEr指标上取得了显著提升，证明了其有效性。
🎯 应用场景
该研究成果可应用于智能相册、图像搜索引擎、辅助视觉等领域。例如，在智能相册中，可以自动为用户上传的图片生成描述，方便用户管理和查找。在图像搜索引擎中，可以根据用户输入的描述检索相关的图片。在辅助视觉领域，可以帮助视力障碍人士理解周围环境。
📄 摘要（原文）
A large-scale vision and language model that has been pretrained on massive data encodes visual and linguistic prior, which makes it easier to generate images and language that are more natural and realistic. Despite this, there is still a significant domain gap between the modalities of vision and language, especially when training data is scarce in few-shot settings, where only very limited data are available for training. In order to mitigate this issue, a multi-modal meta-learning framework has been proposed to bridge the gap between two frozen pretrained large vision and language models by introducing a tunable prompt connecting these two large models. For few-shot image captioning, the existing multi-model meta-learning framework utilizes a one-step prompting scheme to accumulate the visual features of input images to guide the language model, which struggles to generate accurate image descriptions with only a few training samples. Instead, we propose a chain-of-thought (CoT) meta-learning scheme as a multi-step image captioning procedure to better imitate how humans describe images. In addition, we further propose to learn different meta-parameters of the model corresponding to each CoT step in distinct subspaces to avoid interference. We evaluated our method on three commonly used image captioning datasets, i.e., MSCOCO, Flickr8k, and Flickr30k, under few-shot settings. The results of our experiments indicate that our chain-of-thought subspace meta-learning strategy is superior to the baselines in terms of performance across different datasets measured by different metrics.