AlignMamba-2: Enhancing Multimodal Fusion and Sentiment Analysis with Modality-Aware Mamba

📄 arXiv: 2603.18462v1 📥 PDF

作者: Yan Li, Yifei Xing, Xiangyuan Lan, Xin Li, Haifeng Chen, Dongmei Jiang

分类: cs.AI

发布日期: 2026-03-19

备注: Accepted by Pattern Recognition

💡 一句话要点

AlignMamba-2：利用模态感知Mamba增强多模态融合与情感分析

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 情感分析 Mamba模型 模态感知 混合专家 最优传输 最大均值差异

📋 核心要点

  1. 现有Transformer方法计算复杂度高，难以处理长序列多模态数据，Mamba模型虽高效但难以捕捉全局非序列关系。
  2. AlignMamba-2提出双重对齐策略，利用最优传输距离和最大均值差异，促进模态间的几何和统计一致性。
  3. 实验表明，AlignMamba-2在多个数据集上超越现有方法，在有效性和效率上均达到新的SOTA。

📝 摘要（中文）

在大规模预训练模型时代，如何有效地将通用知识应用于特定的情感计算任务仍然是一个挑战，尤其是在计算效率和多模态异构性方面。虽然基于Transformer的方法在建模模态间依赖关系方面表现出色，但其二次计算复杂度限制了它们在长序列数据中的使用。基于Mamba的模型作为一种计算效率高的替代方案出现；然而，它们固有的顺序扫描机制难以捕捉对于有效跨模态对齐至关重要的全局、非顺序关系。为了解决这些限制，我们提出了AlignMamba-2，一个用于多模态融合和情感分析的有效框架。我们的方法引入了一种双重对齐策略，该策略使用最优传输距离和最大均值差异来正则化模型，从而在模态之间促进几何和统计一致性，而不会产生任何推理时开销。更重要的是，我们设计了一个模态感知Mamba层，它采用具有模态特定和模态共享专家的混合专家架构，以显式地处理融合过程中的数据异构性。在四个具有挑战性的基准（包括动态时间序列（在CMU-MOSI和CMU-MOSEI数据集上）和静态图像相关任务（在NYU-Depth V2和MVSA-Single数据集上））上进行的大量实验表明，AlignMamba-2在从动态时间序列分析到静态图像文本分类的各种模式识别任务中，在有效性和效率方面都建立了新的最先进水平。

🔬 方法详解

问题定义：论文旨在解决多模态情感分析中，现有方法在处理长序列数据时计算效率低，以及难以有效融合异构模态信息的问题。Transformer模型复杂度高，Mamba模型难以捕捉全局关系，导致性能受限。

核心思路：论文的核心思路是利用Mamba模型的效率优势，并引入模态感知机制和双重对齐策略，以更好地处理多模态数据的异构性和全局依赖关系。通过模态感知Mamba层，模型能够区分和处理不同模态的特征，而双重对齐策略则保证了模态间的一致性。

技术框架：AlignMamba-2框架主要包含以下几个模块：输入嵌入层（处理不同模态的输入），模态感知Mamba层（核心融合模块），双重对齐模块（保证模态一致性），以及输出层（进行情感预测）。整体流程是，首先将不同模态的数据进行嵌入表示，然后通过模态感知Mamba层进行融合，利用双重对齐模块进行正则化，最后输出情感预测结果。

关键创新：论文的关键创新在于提出了模态感知Mamba层和双重对齐策略。模态感知Mamba层通过混合专家架构，显式地处理不同模态的数据异构性，而双重对齐策略则通过最优传输距离和最大均值差异，促进模态间的几何和统计一致性。这与传统的Mamba模型和Transformer模型有本质区别，前者缺乏模态感知能力，后者计算复杂度过高。

关键设计：模态感知Mamba层采用混合专家（MoE）架构，包含模态特定专家和模态共享专家，通过门控机制动态选择合适的专家进行特征提取。双重对齐策略使用最优传输距离（Optimal Transport）和最大均值差异（Maximum Mean Discrepancy）作为正则化项，加入到损失函数中，以约束模型学习模态间的一致性表示。具体的参数设置和网络结构细节在论文中有详细描述，但此处无法完全复现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

AlignMamba-2在CMU-MOSI、CMU-MOSEI、NYU-Depth V2和MVSA-Single四个数据集上均取得了state-of-the-art的结果。具体性能提升数据在论文中有详细展示，相较于之前的最佳模型，AlignMamba-2在多个指标上均有显著提升，证明了其在多模态融合和情感分析方面的有效性。

🎯 应用场景

AlignMamba-2在情感分析、人机交互、智能客服等领域具有广泛的应用前景。它可以用于分析用户在社交媒体上的情感倾向，提升客户服务的质量，以及改善人机交互的自然性和流畅性。该研究的成果有助于推动多模态情感计算的发展，并为相关应用提供更有效、更高效的技术支持。

📄 摘要（原文）

In the era of large-scale pre-trained models, effectively adapting general knowledge to specific affective computing tasks remains a challenge, particularly regarding computational efficiency and multimodal heterogeneity. While Transformer-based methods have excelled at modeling inter-modal dependencies, their quadratic computational complexity limits their use with long-sequence data. Mamba-based models have emerged as a computationally efficient alternative; however, their inherent sequential scanning mechanism struggles to capture the global, non-sequential relationships that are crucial for effective cross-modal alignment. To address these limitations, we propose \textbf{AlignMamba-2}, an effective and efficient framework for multimodal fusion and sentiment analysis. Our approach introduces a dual alignment strategy that regularizes the model using both Optimal Transport distance and Maximum Mean Discrepancy, promoting geometric and statistical consistency between modalities without incurring any inference-time overhead. More importantly, we design a Modality-Aware Mamba layer, which employs a Mixture-of-Experts architecture with modality-specific and modality-shared experts to explicitly handle data heterogeneity during the fusion process. Extensive experiments on four challenging benchmarks, including dynamic time-series (on the CMU-MOSI and CMU-MOSEI datasets) and static image-related tasks (on the NYU-Depth V2 and MVSA-Single datasets), demonstrate that AlignMamba-2 establishes a new state-of-the-art in both effectiveness and efficiency across diverse pattern recognition tasks, ranging from dynamic time-series analysis to static image-text classification.