CoLA: Cross-Modal Low-rank Adaptation for Multimodal Downstream Tasks

📄 arXiv: 2604.03314 📥 PDF

作者: Wish Suharitdamrong, Tony Alex, Muhammad Awais, Sara Ahmed

分类: cs.CV, cs.CL

发布日期: 2026-04-07

💡 一句话要点

CoLA：用于多模态下游任务的跨模态低秩适配

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 参数高效微调 低秩适配 跨模态交互 视觉语言 音频视觉 双流架构

📋 核心要点

  1. 现有参数高效微调方法（如LoRA）在多模态任务中无法有效捕获跨模态交互。
  2. CoLA通过引入跨模态适配路径，在模态内适配的基础上，增强了模型对跨模态信息的理解。
  3. 实验表明，CoLA在视觉-语言和音频-视觉任务上均优于LoRA，并实现了视觉接地的首个多任务PEFT框架。

📝 摘要（中文）

基础模型彻底改变了人工智能领域，但如何高效地将其适配到多模态任务，尤其是在由单模态编码器（如DINO和BERT）组成的双流架构中，仍然是一个重大挑战。诸如低秩适配（LoRA）等参数高效微调（PEFT）方法能够实现轻量级适配，但它们在每个模态内独立运行，限制了它们捕获跨模态交互的能力。本文提出了跨模态低秩适配（CoLA），这是一个新颖的PEFT框架，通过引入一个专用的模态间适配路径以及标准的模态内适配路径来扩展LoRA。这种双路径设计使CoLA能够有效地将单模态基础模型适配到多模态任务，而不会干扰模态特定学习和跨模态学习。我们在一系列视觉-语言（RefCOCO、RefCOCO+、RefCOCOg）和音频-视觉（AVE、AVS）基准上评估了CoLA，结果表明它始终优于LoRA，分别实现了约3%和2%的相对增益，同时保持了参数效率。值得注意的是，CoLA实现了视觉接地的首个多任务PEFT框架，弥合了高效多模态适配中的一个关键差距。

🔬 方法详解

问题定义：论文旨在解决多模态下游任务中，如何高效地适配预训练的单模态基础模型的问题。现有的参数高效微调方法，如LoRA，主要关注模态内的参数调整，忽略了不同模态之间的交互，导致模型无法充分利用跨模态信息。

核心思路：CoLA的核心思路是在LoRA的基础上，增加一个专门用于跨模态信息交互的适配路径。通过这种双路径设计，模型既可以学习模态特定的特征，又可以学习不同模态之间的关联，从而提高多模态任务的性能。

技术框架：CoLA框架基于双流架构，包含两个单模态编码器（例如，视觉编码器和文本编码器）。在每个编码器中，CoLA都包含两个适配路径：一个标准的LoRA适配路径，用于模态内学习；另一个跨模态适配路径，用于学习不同模态之间的交互。这两个路径并行工作，互不干扰。

关键创新：CoLA的关键创新在于引入了跨模态适配路径，使得模型能够显式地学习不同模态之间的关联。与传统的LoRA方法相比，CoLA能够更好地利用跨模态信息，从而提高多模态任务的性能。此外，CoLA实现了视觉接地的首个多任务PEFT框架。

关键设计：CoLA中的跨模态适配路径采用低秩矩阵分解的方式实现，与LoRA类似，以保证参数效率。具体来说，对于每个需要适配的权重矩阵，CoLA都会添加一个低秩矩阵分解模块，该模块由两个小型的矩阵组成。这些矩阵的秩远小于原始权重矩阵，从而减少了需要训练的参数数量。损失函数方面，CoLA使用标准的交叉熵损失函数进行训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CoLA在RefCOCO、RefCOCO+、RefCOCOg等视觉-语言基准测试中，相较于LoRA，分别取得了约3%的相对增益。在AVE、AVS等音频-视觉基准测试中，CoLA也取得了约2%的相对增益。这些结果表明，CoLA能够有效地提高多模态任务的性能，同时保持参数效率。

🎯 应用场景

CoLA框架可广泛应用于各种多模态任务，例如视觉-语言导航、视频理解、语音识别等。通过高效地适配预训练的单模态模型，CoLA可以降低多模态任务的开发成本，并提高模型的性能。该研究对于推动多模态人工智能的发展具有重要意义。

📄 摘要（原文）

Foundation models have revolutionized AI, but adapting them efficiently for multimodal tasks, particularly in dual-stream architectures composed of unimodal encoders, such as DINO and BERT, remains a significant challenge. Parameter-Efficient Fine-Tuning (PEFT) methods like Low-Rank Adaptation (LoRA) enable lightweight adaptation, yet they operate in isolation within each modality, limiting their ability in capturing cross-modal interactions. In this paper, we take a step in bridging this gap with Cross-Modal Low-Rank Adaptation (CoLA), a novel PEFT framework that extends LoRA by introducing a dedicated inter-modal adaptation pathway alongside the standard intra-modal one. This dual-path design enables CoLA to adapt unimodal foundation models to multimodal tasks effectively, without interference between modality-specific and cross-modal learning. We evaluate CoLA across a range of vision-language (RefCOCO, RefCOCO+, RefCOCOg) and audio-visual (AVE, AVS) benchmarks, where it consistently outperforms LORA, achieving a relative gain of around 3\% and 2\%, respectively, while maintaining parameter efficiency. Notably, CoLA enables the first multi-task PEFT framework for visual grounding, bridging a key gap in efficient multimodal adaptation.