InfoMAE: Pair-Efficient Cross-Modal Alignment for Multimodal Time-Series Sensing Signals

📄 arXiv: 2504.09707v1 📥 PDF

作者: Tomoyoshi Kimura, Xinlin Li, Osama Hanna, Yatong Chen, Yizhuo Chen, Denizhan Kara, Tianshi Wang, Jinyang Li, Xiaomin Ouyang, Shengzhong Liu, Mani Srivastava, Suhas Diggavi, Tarek Abdelzaher

分类: cs.AI, cs.IT, cs.LG, cs.MM

发布日期: 2025-04-13

💡 一句话要点

InfoMAE：通过高效跨模态对齐提升多模态时间序列感知性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 自监督学习 跨模态对齐 时间序列 物联网 互信息 表示学习

📋 核心要点

  1. 传统多模态自监督学习依赖高质量和大规模的多模态数据，这在IoT领域中由于数据异构性而难以满足。
  2. InfoMAE通过信息论方法，在有限的多模态配对数据下，高效地对齐预训练的单模态表示，提升模型性能。
  3. 实验表明，InfoMAE在IoT应用中显著提升了多模态任务和单模态任务的准确率，并提高了数据配对效率。

📝 摘要（中文）

本文提出了一种名为InfoMAE的跨模态对齐框架，旨在解决多模态自监督学习（SSL）中对多模态样本规模和质量的高要求问题。由于物联网（IoT）应用中时间序列信号的异构性和非解释性，高质量的多模态配对数据稀缺，而单模态数据丰富。InfoMAE通过信息论启发的公式，同时解决分布级别和实例级别的对齐问题，从而在有限的数据配对下实现高效的跨模态对齐。在两个真实世界的IoT应用上进行的实验表明，InfoMAE显著提高了多模态配对效率，增强了下游多模态任务的性能超过60%，并且平均提高了单模态任务的准确率22%。

🔬 方法详解

问题定义：现有的多模态自监督学习方法严重依赖大规模且高质量的多模态配对数据。然而，在物联网等实际应用场景中，由于传感器异构性和数据噪声等问题，高质量的多模态配对数据往往非常稀缺，这限制了现有方法的应用效果。因此，如何在有限的多模态配对数据下，有效地利用单模态数据进行学习，是一个亟待解决的问题。

核心思路：InfoMAE的核心思路是通过预训练的单模态表示，利用少量的多模态配对数据，实现高效的跨模态对齐。该方法借鉴信息论的思想，同时考虑分布级别和实例级别的对齐，从而更有效地利用有限的多模态信息。通过最大化互信息，使得不同模态的表示能够更好地相互理解和融合。

技术框架：InfoMAE框架主要包含以下几个阶段：1) 单模态预训练：使用大量的单模态数据，分别训练每个模态的编码器。2) 跨模态对齐：利用少量的多模态配对数据，通过信息论启发的损失函数，对齐不同模态的表示空间。3) 下游任务微调：将对齐后的多模态表示应用于下游任务，并进行微调以适应特定任务的需求。

关键创新：InfoMAE的关键创新在于其信息论启发的跨模态对齐方法。与传统的基于重构或对比学习的方法不同，InfoMAE直接最大化不同模态表示之间的互信息，从而更有效地实现跨模态对齐。此外，InfoMAE同时考虑分布级别和实例级别的对齐，使得模型能够更好地捕捉不同模态之间的关系。

关键设计：InfoMAE的关键设计包括：1) 使用Masked Autoencoder (MAE) 进行单模态预训练，学习鲁棒的单模态表示。2) 采用互信息最大化（Mutual Information Maximization, MIM）作为跨模态对齐的损失函数。3) 设计了分布级别和实例级别的对齐损失，以更好地捕捉不同模态之间的关系。具体的互信息估计方法采用 Noise Contrastive Estimation (NCE) 等技术。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

InfoMAE在两个真实世界的IoT应用上进行了评估，结果表明，在下游多模态任务中，InfoMAE的性能提升超过60%，并且平均提高了单模态任务的准确率22%。这些结果表明，InfoMAE能够显著提高多模态配对效率，并有效地利用有限的多模态数据进行学习，优于现有的多模态自监督学习方法。

🎯 应用场景

InfoMAE在物联网、智能家居、医疗健康等领域具有广泛的应用前景。例如，可以利用智能手表和智能手机收集的多模态数据，进行用户行为识别、健康状态监测等。该研究能够提升多模态数据利用率，降低对高质量配对数据的依赖，从而推动相关领域的发展，并为未来的普适计算和人工智能应用提供更强大的技术支持。

📄 摘要（原文）

Standard multimodal self-supervised learning (SSL) algorithms regard cross-modal synchronization as implicit supervisory labels during pretraining, thus posing high requirements on the scale and quality of multimodal samples. These constraints significantly limit the performance of sensing intelligence in IoT applications, as the heterogeneity and the non-interpretability of time-series signals result in abundant unimodal data but scarce high-quality multimodal pairs. This paper proposes InfoMAE, a cross-modal alignment framework that tackles the challenge of multimodal pair efficiency under the SSL setting by facilitating efficient cross-modal alignment of pretrained unimodal representations. InfoMAE achieves \textit{efficient cross-modal alignment} with \textit{limited data pairs} through a novel information theory-inspired formulation that simultaneously addresses distribution-level and instance-level alignment. Extensive experiments on two real-world IoT applications are performed to evaluate InfoMAE's pairing efficiency to bridge pretrained unimodal models into a cohesive joint multimodal model. InfoMAE enhances downstream multimodal tasks by over 60% with significantly improved multimodal pairing efficiency. It also improves unimodal task accuracy by an average of 22%.