MILES: Modality-Informed Learning Rate Scheduler for Balancing Multimodal Learning

📄 arXiv: 2510.17394v1 📥 PDF

作者: Alejandro Guerra-Manzanares, Farah E. Shamout

分类: cs.LG, cs.CV

发布日期: 2025-10-20

备注: Accepted and presented at the 2025 International Joint Conference on Neural Networks (IJCNN'25). The paper was awarded an honorable mention (best 4 papers)

💡 一句话要点

提出MILES：一种模态感知学习率调度器，用于平衡多模态学习。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 模态融合 学习率调度 模态平衡 条件利用率

📋 核心要点

  1. 多模态学习易出现模态过拟合，模型过度依赖单一模态，导致性能瓶颈。
  2. MILES通过动态调整学习率，平衡各模态的学习速度，从而缓解模态过拟合问题。
  3. 实验表明，MILES在多个任务上超越现有方法，提升了多模态和单模态预测性能。

📝 摘要（中文）

多模态神经网络旨在融合多种数据源（即模态），以实现超越单模态的性能。然而，多模态网络的训练常受模态过拟合的阻碍，网络过度依赖于某一模态，导致次优性能，限制了多模态学习的潜力，并造成相对于单模态模型的边际改进。本文提出了一种模态感知学习率调度器（MILES），用于以平衡的方式训练多模态联合融合模型。MILES利用训练期间模态条件利用率的差异来有效平衡多模态学习。通过动态调整学习率，平衡模型从每个模态学习的速度，从而增强多模态和单模态预测的性能。在四个多模态联合融合任务上进行了广泛评估，并与七个最先进的基线方法进行了比较。结果表明，MILES在所有任务和融合方法上均优于所有基线，有效平衡了训练期间的模态使用，从而提高了多模态性能并增强了模态编码器，这在处理单模态样本或缺失模态时非常有用。总而言之，这项工作强调了平衡多模态学习对提高模型性能的影响。

🔬 方法详解

问题定义：多模态学习旨在融合不同模态的信息以提升模型性能。然而，现有的多模态模型训练过程中容易出现模态过拟合现象，即模型过度依赖于某些模态而忽略其他模态，导致模型性能受限，无法充分利用多模态数据的优势。现有方法缺乏有效的机制来平衡不同模态的学习过程，使得模型在训练过程中容易陷入局部最优解。

核心思路：MILES的核心思路是根据每个模态的条件利用率动态调整学习率。条件利用率反映了模型对每个模态的依赖程度。如果模型对某个模态的利用率较高，则降低该模态的学习率；反之，如果模型对某个模态的利用率较低，则提高该模态的学习率。通过这种方式，MILES能够平衡不同模态的学习速度，避免模型过度依赖于某些模态，从而提高模型的泛化能力。

技术框架：MILES主要包含以下几个步骤：1. 计算模态条件利用率：在每个训练迭代中，计算模型对每个模态的条件利用率。2. 调整学习率：根据模态条件利用率，动态调整每个模态的学习率。利用率高的模态降低学习率，利用率低的模态提高学习率。3. 模型训练：使用调整后的学习率训练多模态模型。该框架可以应用于各种多模态联合融合模型。

关键创新：MILES的关键创新在于提出了一种基于模态条件利用率的动态学习率调整策略。与传统的固定学习率或全局学习率调整策略不同，MILES能够根据每个模态的实际情况进行学习率调整，从而更有效地平衡不同模态的学习过程。这种模态感知的学习率调度方法能够有效缓解模态过拟合问题，提高模型的性能。

关键设计：MILES的关键设计包括：1. 模态条件利用率的计算方法：论文中具体描述了如何计算每个模态的条件利用率，这可能涉及到梯度信息或其他模态相关指标。2. 学习率调整策略：论文中定义了如何根据模态条件利用率来调整学习率，例如使用线性或指数函数。3. 超参数设置：MILES可能包含一些超参数，例如学习率调整的幅度等，这些超参数需要根据具体任务进行调整。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

MILES在四个多模态联合融合任务上进行了评估，并与七个最先进的基线方法进行了比较。实验结果表明，MILES在所有任务和融合方法上均优于所有基线，有效平衡了训练期间的模态使用。具体性能提升数据需要在论文中查找，但总体而言，MILES展示了其在平衡模态学习方面的有效性。

🎯 应用场景

MILES可广泛应用于各种多模态学习任务，例如：音视频情感识别、多模态医学诊断、跨模态信息检索等。该方法能够有效平衡不同模态的学习过程，提高模型的泛化能力和鲁棒性，从而提升相关应用的性能和用户体验。未来，MILES有望促进多模态人工智能技术的发展，为解决更复杂的问题提供新的思路。

📄 摘要（原文）

The aim of multimodal neural networks is to combine diverse data sources, referred to as modalities, to achieve enhanced performance compared to relying on a single modality. However, training of multimodal networks is typically hindered by modality overfitting, where the network relies excessively on one of the available modalities. This often yields sub-optimal performance, hindering the potential of multimodal learning and resulting in marginal improvements relative to unimodal models. In this work, we present the Modality-Informed Learning ratE Scheduler (MILES) for training multimodal joint fusion models in a balanced manner. MILES leverages the differences in modality-wise conditional utilization rates during training to effectively balance multimodal learning. The learning rate is dynamically adjusted during training to balance the speed of learning from each modality by the multimodal model, aiming for enhanced performance in both multimodal and unimodal predictions. We extensively evaluate MILES on four multimodal joint fusion tasks and compare its performance to seven state-of-the-art baselines. Our results show that MILES outperforms all baselines across all tasks and fusion methods considered in our study, effectively balancing modality usage during training. This results in improved multimodal performance and stronger modality encoders, which can be leveraged when dealing with unimodal samples or absent modalities. Overall, our work highlights the impact of balancing multimodal learning on improving model performance.