Coupled Mamba: Enhanced Multi-modal Fusion with Coupled State Space Model

📄 arXiv: 2405.18014v2 📥 PDF

作者: Wenbing Li, Hang Zhou, Junqing Yu, Zikai Song, Wei Yang

分类: cs.AI

发布日期: 2024-05-28 (更新: 2024-05-29)

💡 一句话要点

提出耦合Mamba模型，增强多模态融合，提升跨模态交互动态建模能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多模态融合 状态空间模型 Mamba 跨模态交互 深度学习

📋 核心要点

  1. 现有方法难以有效捕捉多模态数据中复杂的模态内和模态间交互动态，限制了融合效果。
  2. 提出耦合状态空间模型（Coupled SSM），通过耦合多模态状态链，实现跨模态信息的高效融合。
  3. 实验表明，Coupled Mamba在多个多模态数据集上显著提升了性能，并实现了更快的推理速度和更低的内存占用。

📝 摘要（中文）

多模态融合的关键在于利用不同模态中固有的互补信息。然而，目前流行的融合方法依赖于传统的神经网络架构，不足以捕捉跨模态交互的动态性，尤其是在存在复杂的模态内和模态间相关性的情况下。最近，状态空间模型（SSM）的进步，特别是Mamba模型，已经成为有希望的竞争者。其状态演化过程意味着更强的模态融合范式，使得基于SSM的多模态融合成为一个有吸引力的方向。然而，由于其硬件感知的并行设计，融合多个模态对于SSM来说具有挑战性。为此，本文提出了一种耦合SSM模型，用于耦合多个模态的状态链，同时保持模态内状态过程的独立性。具体来说，在我们的耦合方案中，我们设计了一种模态间隐藏状态转移方案，其中当前状态依赖于其自身链的状态以及前一时间步的相邻链的状态。为了完全符合硬件感知的并行性，我们设计了一种加速的耦合状态转移方案，并推导出其相应的全局卷积核以实现并行性。在CMU-MOSEI、CH-SIMS、CH-SIMSV2上通过多域输入进行的大量实验验证了我们的模型相对于当前最先进方法的有效性，在三个数据集上分别提高了0.4%、0.9%和2.3%的F1-Score，推理速度提高了49%，GPU内存节省了83.7%。结果表明，耦合Mamba模型能够增强多模态融合。

🔬 方法详解

问题定义：现有的多模态融合方法，如基于Transformer的模型，在捕捉模态间的动态交互方面存在不足，尤其是在处理具有复杂相关性的多模态数据时。这些方法通常难以有效地建模模态间的长期依赖关系，并且计算复杂度较高。此外，直接将多个模态输入到传统的SSM中，会因为硬件并行性的限制而导致效率降低。

核心思路：论文的核心思路是设计一种耦合的状态空间模型，使得不同模态的状态链能够相互影响，从而实现跨模态信息的有效融合。同时，保持模态内部状态过程的独立性，以避免过度耦合导致的信息冗余。通过这种方式，模型既能捕捉模态间的动态交互，又能保持计算效率。

技术框架：Coupled Mamba模型包含多个Mamba块，每个Mamba块对应一个模态。每个Mamba块内部维护一个状态链，用于建模该模态的时序信息。不同模态的Mamba块之间通过一个耦合机制进行连接，使得一个模态的当前状态依赖于自身以及相邻模态的前一时刻状态。整个模型通过最小化预测误差进行训练。

关键创新：该论文的关键创新在于提出了耦合状态转移方案，允许不同模态的状态链相互影响，从而实现跨模态信息的有效融合。此外，论文还设计了一种加速的耦合状态转移方案，并推导出相应的全局卷积核，以保证硬件感知的并行性。这种设计使得模型既能捕捉模态间的动态交互，又能保持计算效率。

关键设计：模型使用了一种模态间隐藏状态转移方案，其中当前状态依赖于其自身链的状态以及前一时间步的相邻链的状态。为了保证硬件并行性，论文设计了一种加速的耦合状态转移方案，并推导出其对应的全局卷积核。损失函数采用标准的回归或分类损失，具体取决于任务类型。

📊 实验亮点

实验结果表明，Coupled Mamba模型在CMU-MOSEI、CH-SIMS和CH-SIMSV2三个多模态数据集上均取得了显著的性能提升，F1-Score分别提高了0.4%、0.9%和2.3%。此外，该模型还实现了49%的推理速度提升和83.7%的GPU内存节省，表明其具有更高的计算效率和更低的资源消耗。这些结果充分验证了Coupled Mamba模型在多模态融合方面的有效性和优越性。

🎯 应用场景

该研究成果可广泛应用于多模态情感分析、多模态行为识别、多模态医学诊断等领域。例如，在情感分析中，可以融合语音、文本和视觉信息，更准确地识别用户的情绪状态。在医学诊断中，可以融合影像、病理和基因组数据，辅助医生进行疾病诊断和治疗方案制定。该研究有望推动多模态信息处理技术的发展，提升人工智能在各个领域的应用水平。

📄 摘要（原文）

The essence of multi-modal fusion lies in exploiting the complementary information inherent in diverse modalities. However, prevalent fusion methods rely on traditional neural architectures and are inadequately equipped to capture the dynamics of interactions across modalities, particularly in presence of complex intra- and inter-modality correlations. Recent advancements in State Space Models (SSMs), notably exemplified by the Mamba model, have emerged as promising contenders. Particularly, its state evolving process implies stronger modality fusion paradigm, making multi-modal fusion on SSMs an appealing direction. However, fusing multiple modalities is challenging for SSMs due to its hardware-aware parallelism designs. To this end, this paper proposes the Coupled SSM model, for coupling state chains of multiple modalities while maintaining independence of intra-modality state processes. Specifically, in our coupled scheme, we devise an inter-modal hidden states transition scheme, in which the current state is dependent on the states of its own chain and that of the neighbouring chains at the previous time-step. To fully comply with the hardware-aware parallelism, we devise an expedite coupled state transition scheme and derive its corresponding global convolution kernel for parallelism. Extensive experiments on CMU-MOSEI, CH-SIMS, CH-SIMSV2 through multi-domain input verify the effectiveness of our model compared to current state-of-the-art methods, improved F1-Score by 0.4\%, 0.9\%, and 2.3\% on the three datasets respectively, 49\% faster inference and 83.7\% GPU memory save. The results demonstrate that Coupled Mamba model is capable of enhanced multi-modal fusion.