MaPPER: Multimodal Prior-guided Parameter Efficient Tuning for Referring Expression Comprehension

📄 arXiv: 2409.13609v4 📥 PDF

作者: Ting Liu, Zunnan Xu, Yue Hu, Liangtao Shi, Zhiqiang Wang, Quanjun Yin

分类: cs.CV, cs.AI, cs.CL

发布日期: 2024-09-20 (更新: 2025-06-20)

备注: EMNLP 2024 main

🔗 代码/项目: GITHUB

💡 一句话要点

MaPPER：多模态先验引导的参数高效微调方法，用于指代表达式理解

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 指代表达式理解 参数高效微调 多模态学习 视觉语言对齐 先验知识引导

📋 核心要点

  1. 现有指代表达式理解方法依赖全量微调预训练模型，计算成本高昂且破坏了预训练知识。
  2. MaPPER框架通过动态先验适配器和局部卷积适配器，提升局部视觉感知和跨模态对齐能力。
  3. 实验表明，MaPPER仅需少量可调参数，即可在多个基准测试中达到最佳精度。

📝 摘要（中文）

本文提出了一种用于指代表达式理解(REC)的新框架，名为多模态先验引导的参数高效微调(MaPPER)。REC任务旨在通过自然语言定位局部视觉区域，严重依赖于多模态对齐。现有方法通常采用强大的预训练模型，通过全量微调来迁移视觉/语言知识，但全量微调不仅破坏了预训练模型中蕴含的丰富先验知识，还会带来巨大的计算成本。受参数高效迁移学习(PETL)方法兴起的启发，本文旨在有效且高效地解决REC任务。直接将PETL方法应用于REC任务并不合适，因为它们缺乏精确的局部视觉感知和视觉-语言对齐的特定领域能力。因此，MaPPER包含由对齐先验引导的动态先验适配器，以及用于提取精确局部语义以实现更好视觉感知的局部卷积适配器。此外，还提出了先验引导的文本模块，以进一步利用先验来促进跨模态对齐。在三个广泛使用的基准测试上的实验结果表明，与全量微调和其他PETL方法相比，MaPPER仅使用1.41%的可调骨干参数即可实现最佳精度。

🔬 方法详解

问题定义：指代表达式理解（REC）任务旨在根据自然语言描述定位图像中的特定区域。现有方法通常采用预训练模型并进行全量微调，但这种方式计算成本高昂，并且可能破坏预训练模型中学习到的通用知识，导致过拟合等问题。此外，通用的PETL方法缺乏对局部视觉信息和视觉-语言对齐的针对性优化。

核心思路：MaPPER的核心思路是利用参数高效微调（PETL）方法，同时引入多模态先验知识引导，以提升模型在REC任务上的性能。通过设计特定的适配器模块，在保留预训练模型知识的同时，学习特定于REC任务的局部视觉感知和跨模态对齐能力。这种方法旨在在计算效率和模型性能之间取得平衡。

技术框架：MaPPER框架主要包含以下几个模块： 1. 动态先验适配器（Dynamic Prior Adapters）：利用对齐的先验知识引导，自适应地调整模型参数。 2. 局部卷积适配器（Local Convolution Adapters）：提取精确的局部语义信息，增强视觉感知能力。 3. 先验引导的文本模块（Prior-Guided Text module）：利用先验知识，促进跨模态对齐。 整体流程是，输入图像和指代表达式，经过视觉和语言编码器后，分别通过上述适配器模块进行特征增强和对齐，最后通过预测模块输出目标区域。

关键创新：MaPPER的关键创新在于将多模态先验知识融入到参数高效微调过程中。与传统的PETL方法相比，MaPPER针对REC任务的特点，设计了特定的适配器模块，从而更好地利用了预训练模型的知识，并提升了局部视觉感知和跨模态对齐能力。这使得MaPPER能够在仅微调少量参数的情况下，达到甚至超过全量微调的性能。

关键设计： * 动态先验适配器：具体实现方式未知，但强调了利用对齐的先验知识进行引导。 * 局部卷积适配器：使用卷积操作提取局部语义信息，具体卷积核大小和通道数未知。 * 先验引导的文本模块：具体实现方式未知，但强调了利用先验知识促进跨模态对齐。 * 损失函数：论文中未明确提及损失函数的设计，推测可能使用了标准的交叉熵损失或IoU损失。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MaPPER在三个广泛使用的REC基准测试上取得了最佳精度，并且仅需微调1.41%的骨干参数。与全量微调和其他PETL方法相比，MaPPER在参数效率和模型性能上都具有显著优势。具体的性能提升数据需要在论文中查找，这里无法给出。

🎯 应用场景

MaPPER在指代表达式理解任务中表现出色，可应用于智能图像编辑、视觉问答、人机交互等领域。例如，在智能图像编辑中，用户可以通过自然语言指定需要编辑的区域；在视觉问答中，模型可以根据问题定位图像中的相关区域并给出答案。该研究有助于提升AI系统对人类指令的理解能力，促进更自然的人机交互。

📄 摘要（原文）

Referring Expression Comprehension (REC), which aims to ground a local visual region via natural language, is a task that heavily relies on multimodal alignment. Most existing methods utilize powerful pre-trained models to transfer visual/linguistic knowledge by full fine-tuning. However, full fine-tuning the entire backbone not only breaks the rich prior knowledge embedded in the pre-training, but also incurs significant computational costs. Motivated by the recent emergence of Parameter-Efficient Transfer Learning (PETL) methods, we aim to solve the REC task in an effective and efficient manner. Directly applying these PETL methods to the REC task is inappropriate, as they lack the specific-domain abilities for precise local visual perception and visual-language alignment. Therefore, we propose a novel framework of Multimodal Prior-guided Parameter Efficient Tuning, namely MaPPER. Specifically, MaPPER comprises Dynamic Prior Adapters guided by an aligned prior, and Local Convolution Adapters to extract precise local semantics for better visual perception. Moreover, the Prior-Guided Text module is proposed to further utilize the prior for facilitating the cross-modal alignment. Experimental results on three widely-used benchmarks demonstrate that MaPPER achieves the best accuracy compared to the full fine-tuning and other PETL methods with only 1.41% tunable backbone parameters. Our code is available at https://github.com/liuting20/MaPPER.