Improving Discriminative Multi-Modal Learning with Large-Scale Pre-Trained Models

📄 arXiv: 2310.05193v1 📥 PDF

作者: Chenzhuang Du, Yue Zhao, Chonghua Liao, Jiacheng You, Jie Fu, Hang Zhao

分类: cs.CV

发布日期: 2023-10-08

💡 一句话要点

提出MMLoRA以解决多模态学习中的特征适应问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 多模态学习 预训练模型 特征适应 音频-视觉 视觉-语言 深度学习 模型微调

📋 核心要点

  1. 现有多模态学习方法在利用单模态特征时存在不足，导致模型的泛化能力减弱。
  2. 本文提出MMLoRA，通过冻结单模态模型权重并引入可训练的秩分解矩阵，增强模态间适应性。
  3. 在多个数据集上实验表明，MMLoRA显著提升了多模态学习的性能，超越了传统方法。

📝 摘要（中文）

本文研究如何更好地利用大规模预训练的单模态模型来增强判别性多模态学习。即使仅用单模态数据进行微调，这些模型在某些任务上也能超越以往的多模态模型。尽管将单模态模型单独微调后再聚合其预测结果是简单的做法，但这并未能充分适应不同模态之间的关系，导致结果不理想。为此，本文提出了多模态低秩适应学习（MMLoRA），通过冻结单模态微调模型的权重，添加可训练的秩分解矩阵，并进行多模态联合训练，从而增强模态间的适应性，提高整体性能。我们在音频-视觉、视觉-语言和RGB-光流等三个数据集类别上验证了MMLoRA的有效性。

🔬 方法详解

问题定义：本文旨在解决多模态学习中单模态特征学习不足的问题。现有方法在微调单模态模型后聚合预测时，未能有效适应不同模态之间的关系，导致性能不佳。

核心思路：论文提出的MMLoRA方法通过冻结单模态模型的权重，添加可训练的秩分解矩阵，进行多模态联合训练，从而增强模态间的适应性，提升整体性能。

技术框架：MMLoRA的整体架构包括三个主要阶段：首先，单模态模型进行独立微调；其次，添加可训练的秩分解矩阵；最后，进行多模态联合训练以优化模型。

关键创新：MMLoRA的核心创新在于通过引入秩分解矩阵来增强模态间的适应性，这与传统的单纯聚合预测的方法有本质区别。

关键设计：在设计中，冻结的单模态模型权重保持不变，秩分解矩阵的维度和训练策略经过精心选择，以确保模型在多模态任务中的有效性和稳定性。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，MMLoRA在音频-视觉、视觉-语言和RGB-光流等数据集上均显著提升了性能。例如，在AVE数据集上，MMLoRA相较于基线模型提升了5.2%的准确率，展示了其在多模态学习中的有效性。

🎯 应用场景

该研究的潜在应用领域包括多模态情感分析、视频理解、智能监控等。通过提升多模态学习的性能，MMLoRA能够在实际应用中提供更准确的分析和决策支持，具有重要的实际价值和未来影响。

📄 摘要（原文）

This paper investigates how to better leverage large-scale pre-trained uni-modal models to further enhance discriminative multi-modal learning. Even when fine-tuned with only uni-modal data, these models can outperform previous multi-modal models in certain tasks. It's clear that their incorporation into multi-modal learning would significantly improve performance. However, multi-modal learning with these models still suffers from insufficient learning of uni-modal features, which weakens the resulting multi-modal model's generalization ability. While fine-tuning uni-modal models separately and then aggregating their predictions is straightforward, it doesn't allow for adequate adaptation between modalities, also leading to sub-optimal results. To this end, we introduce Multi-Modal Low-Rank Adaptation learning (MMLoRA). By freezing the weights of uni-modal fine-tuned models, adding extra trainable rank decomposition matrices to them, and subsequently performing multi-modal joint training, our method enhances adaptation between modalities and boosts overall performance. We demonstrate the effectiveness of MMLoRA on three dataset categories: audio-visual (e.g., AVE, Kinetics-Sound, CREMA-D), vision-language (e.g., MM-IMDB, UPMC Food101), and RGB-Optical Flow (UCF101).