CLARGA: Multimodal Graph Representation Learning over Arbitrary Sets of Modalities

📄 arXiv: 2512.11901v1 📥 PDF

作者: Santosh Patapati

分类: cs.CV, cs.LG

发布日期: 2025-12-10

备注: WACV; Supplementary material is available on CVF proceedings

💡 一句话要点

CLARGA：提出一种通用的多模态图表示学习框架，适用于任意模态组合。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多模态融合 图神经网络 注意力机制 表示学习 跨模态学习

📋 核心要点

  1. 现有方法在处理多模态数据时，难以适应不同模态组合，且计算复杂度高，限制了其应用范围。
  2. CLARGA通过构建注意力加权图，学习模态间的相互影响，并利用图注意力网络进行消息传递，实现高效融合。
  3. 实验结果表明，CLARGA在多个数据集上优于现有方法，并对缺失模态和噪声输入具有鲁棒性。

📝 摘要（中文）

本文介绍了一种通用的多模态融合架构CLARGA，用于多模态表示学习，它可以在不改变底层框架的情况下处理任意数量和类型的模态。给定一个有监督数据集，CLARGA可以应用于几乎任何机器学习任务，以融合不同的多模态表示，供下游层处理。CLARGA通过构建一个注意力加权图来学习模态之间如何相互影响，并在该图上使用多头图注意力网络传递消息，从而实现样本级别的模态融合。这种设计不仅使CLARGA具有高度的适应性，因为它为不同的样本构建独特的图，而且随着模态数量的增长，它还能实现亚二次复杂度的有效融合。通过可学习的掩码，它还可以适应缺失的模态输入。该模型采用混合目标进行训练，该目标将有监督任务损失与对比InfoNCE损失相结合，从而提高跨模态一致性和对噪声输入的鲁棒性。我们在涵盖金融、人机交互、通用多媒体分类和情感计算的7个数据集上的各种多模态表示学习任务中证明了CLARGA的有效性。它始终优于基线模型、最先进的模型和消融实验。额外的实验也证明了它对缺失输入的鲁棒性以及在小众任务中表现出色的能力。总的来说，CLARGA可以很容易地插入到机器学习模型中，以有效地学习各种任务的表示。

🔬 方法详解

问题定义：现有的多模态融合方法通常需要针对特定模态组合进行设计，缺乏通用性。此外，随着模态数量的增加，融合过程的计算复杂度也会显著增加，限制了其在大规模多模态数据上的应用。如何设计一种通用的、高效的多模态融合框架，是本文要解决的核心问题。

核心思路：CLARGA的核心思路是利用图结构来建模不同模态之间的关系。具体来说，对于每个样本，CLARGA构建一个以模态特征为节点的图，并使用注意力机制学习节点之间的边权重，从而表示模态之间的相互影响。然后，利用图注意力网络在该图上进行消息传递，实现模态信息的融合。这种基于图的融合方式具有很强的灵活性和可扩展性，可以适应任意数量和类型的模态。

技术框架：CLARGA的整体架构包括以下几个主要模块：1) 特征提取模块：用于提取每个模态的特征表示；2) 图构建模块：基于模态特征构建注意力加权图；3) 图注意力网络模块：在该图上进行消息传递，融合模态信息；4) 预测模块：基于融合后的特征进行预测。整个流程是端到端可训练的。

关键创新：CLARGA最重要的技术创新点在于其基于图的模态融合方式。与传统的基于连接或注意力机制的融合方法相比，CLARGA能够更灵活地建模模态之间的复杂关系，并有效地利用模态之间的互补信息。此外，CLARGA还引入了可学习的掩码机制，以适应缺失模态的情况，提高了模型的鲁棒性。

关键设计：CLARGA的关键设计包括：1) 使用多头图注意力网络进行消息传递，以捕捉不同方面的模态关系；2) 采用InfoNCE损失来提高跨模态一致性；3) 使用可学习的掩码来处理缺失模态；4) 混合了有监督任务损失和对比学习损失，以提高模型的泛化能力。

📊 实验亮点

CLARGA在7个不同的多模态数据集上进行了评估，涵盖了金融、人机交互、通用多媒体分类和情感计算等多个领域。实验结果表明，CLARGA在所有数据集上都优于现有的基线模型和最先进的模型。例如，在某些数据集上，CLARGA的性能提升超过了5%。此外，实验还证明了CLARGA对缺失模态和噪声输入的鲁棒性。

🎯 应用场景

CLARGA具有广泛的应用前景，例如金融领域的风险预测、人机交互领域的情感识别、多媒体内容理解等。该研究的实际价值在于提供了一种通用的多模态融合框架，可以方便地应用于各种机器学习任务，并提高模型的性能和鲁棒性。未来，可以进一步研究如何将CLARGA应用于更大规模的多模态数据，并探索更有效的图结构学习方法。

📄 摘要（原文）

We introduce CLARGA, a general-purpose multimodal fusion architecture for multimodal representation learning that works with any number and type of modalities without changing the underlying framework. Given a supervised dataset, CLARGA can be applied to virtually any machine learning task to fuse different multimodal representations for processing by downstream layers. On a sample-by-sample basis, CLARGA learns how modalities should inform one another by building an attention weighted graph over their features and passing messages along this graph with a multi-head Graph Attention Network. Not only does this make CLARGA highly adaptive, as it constructs unique graphs for different samples, it makes for efficient fusion with sub-quadratic complexity as the number of modalities grows. Through a learnable mask, it can also adapt to missing modality inputs. The model is trained with a hybrid objective that combines a supervised task loss with contrastive InfoNCE loss, improving cross-modal consistency and robustness to noisy inputs. We demonstrate CLARGA's effectiveness in diverse multimodal representation learning tasks across 7 datasets spanning finance, human-computer interaction, general multimedia classification, and affective computing. It consistently outperforms baselines, state-of-the-art models, and ablations. Additional experiments also demonstrate its robustness to missing inputs and ability to excel on niche tasks. Overall, CLARGA can be easily plugged into machine learning models for effective and efficient learning of representations across a wide variety of tasks.