MA-AVT: Modality Alignment for Parameter-Efficient Audio-Visual Transformers

📄 arXiv: 2406.04930v1 📥 PDF

作者: Tanvir Mahmud, Shentong Mo, Yapeng Tian, Diana Marculescu

分类: cs.CV, cs.MM, cs.SD, eess.AS

发布日期: 2024-06-07

备注: Accepted in Efficient Deep Learning for Computer Vision CVPR Workshop 2024

💡 一句话要点

MA-AVT：提出一种参数高效的音视频Transformer，通过模态对齐提升性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音视频Transformer 模态对齐 参数高效学习 对比学习 前景挖掘

📋 核心要点

  1. 现有音视频Transformer缺乏有效的模态对齐方法，限制了参数高效学习的性能。
  2. MA-AVT通过联合token学习和分块对比学习，实现从粗到细的模态特征对齐。
  3. 实验表明，MA-AVT在多个数据集上显著优于现有方法，验证了其有效性。

📝 摘要（中文）

本文提出了一种新的参数高效的音视频Transformer，名为MA-AVT，它采用深度模态对齐方法来对应多模态语义特征。具体来说，我们引入了联合单模态和多模态token学习，以使用冻结的模态共享Transformer来对齐两种模态。这使得模型能够学习每种模态的独立表示，同时关注它们之间的跨模态关系。此外，与之前仅对齐来自单模态编码器输出的粗略特征的工作不同，我们引入了分块对比学习，以在整个编码阶段对齐从粗到细粒度的分层特征。此外，为了抑制每种模态中的背景特征对前景匹配的音视频特征的影响，我们引入了一种鲁棒的判别性前景挖掘方案。通过在基准AVE、VGGSound和CREMA-D数据集上进行的大量实验，我们实现了相对于SOTA方法的显著性能提升。

🔬 方法详解

问题定义：现有的参数高效音视频Transformer在模态对齐方面存在不足。它们通常只关注粗粒度的特征对齐，忽略了细粒度特征的重要性，并且容易受到背景噪声的干扰，导致模型性能受限。因此，如何有效地对齐音视频模态特征，并抑制背景噪声，是本文要解决的关键问题。

核心思路：本文的核心思路是通过深度模态对齐来提升音视频Transformer的性能。具体来说，通过联合单模态和多模态token学习，使模型能够同时学习单模态和跨模态的特征表示。此外，引入分块对比学习，实现从粗到细粒度的特征对齐，从而更全面地捕捉音视频之间的关联性。同时，采用判别性前景挖掘方案，抑制背景噪声的干扰，提高模型对前景信息的关注度。

技术框架：MA-AVT的整体架构包括以下几个主要模块：1) 单模态编码器：用于提取音频和视频的特征表示。2) 模态共享Transformer：用于学习跨模态的关联性。3) 联合Token学习模块：同时学习单模态和多模态的token表示，促进模态对齐。4) 分块对比学习模块：在编码阶段对齐从粗到细粒度的分层特征。5) 判别性前景挖掘模块：抑制背景噪声，提高模型对前景信息的关注度。

关键创新：本文的关键创新在于以下几个方面：1) 提出了联合单模态和多模态token学习，能够更有效地对齐音视频模态特征。2) 引入了分块对比学习，实现了从粗到细粒度的特征对齐，从而更全面地捕捉音视频之间的关联性。3) 提出了判别性前景挖掘方案，能够有效地抑制背景噪声的干扰，提高模型对前景信息的关注度。这些创新使得MA-AVT在音视频学习任务中取得了显著的性能提升。

关键设计：在联合Token学习模块中，使用了可学习的token embedding来表示单模态和多模态信息。分块对比学习模块中，使用了InfoNCE损失函数来最大化正样本之间的相似性，同时最小化负样本之间的相似性。判别性前景挖掘模块中，使用了注意力机制来选择前景区域，并使用交叉熵损失函数来训练模型区分前景和背景。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在AVE数据集上，MA-AVT取得了显著的性能提升，超过了SOTA方法。在VGGSound和CREMA-D数据集上，MA-AVT也取得了具有竞争力的结果，验证了其在不同音视频数据集上的泛化能力。实验结果表明，MA-AVT能够有效地对齐音视频模态特征，并抑制背景噪声的干扰，从而提升模型的性能。

🎯 应用场景

该研究成果可应用于视频内容理解、智能监控、人机交互等领域。例如，在视频内容理解中，可以利用MA-AVT更准确地识别视频中的事件和场景。在智能监控中，可以利用MA-AVT检测异常声音和行为。在人机交互中，可以利用MA-AVT实现更自然和智能的语音和视觉交互。

📄 摘要（原文）

Recent advances in pre-trained vision transformers have shown promise in parameter-efficient audio-visual learning without audio pre-training. However, few studies have investigated effective methods for aligning multimodal features in parameter-efficient audio-visual transformers. In this paper, we propose MA-AVT, a new parameter-efficient audio-visual transformer employing deep modality alignment for corresponding multimodal semantic features. Specifically, we introduce joint unimodal and multimodal token learning for aligning the two modalities with a frozen modality-shared transformer. This allows the model to learn separate representations for each modality, while also attending to the cross-modal relationships between them. In addition, unlike prior work that only aligns coarse features from the output of unimodal encoders, we introduce blockwise contrastive learning to align coarse-to-fine-grain hierarchical features throughout the encoding phase. Furthermore, to suppress the background features in each modality from foreground matched audio-visual features, we introduce a robust discriminative foreground mining scheme. Through extensive experiments on benchmark AVE, VGGSound, and CREMA-D datasets, we achieve considerable performance improvements over SOTA methods.