Rebalanced Multimodal Learning with Data-aware Unimodal Sampling

📄 arXiv: 2503.03792v1 📥 PDF

作者: Qingyuan Jiang, Zhouyang Chi, Xiao Ma, Qirong Mao, Yang Yang, Jinhui Tang

分类: cs.LG, cs.AI

发布日期: 2025-03-05

💡 一句话要点

提出数据感知的单模态采样方法，解决多模态学习中的模态不平衡问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 模态不平衡 数据采样 强化学习 视频理解 情感分析 自适应采样

📋 核心要点

  1. 现有MML方法忽略了单模态数据采样带来的模态不平衡问题，导致信息内容差异。
  2. 论文提出数据感知的单模态采样方法（DUS），动态调整各模态的采样数量，缓解不平衡。
  3. DUS可作为插件集成到现有MML方法中，实验证明其性能优于现有SOTA方法。

📝 摘要（中文）

为了解决由模态不平衡导致的多模态学习（MML）退化问题，现有的方法主要从模型学习的角度平衡每个模态的优化过程。然而，几乎所有现有方法都忽略了由单模态数据采样引起的模态不平衡，即，相等的单模态数据采样通常会导致信息内容上的差异，从而导致模态不平衡。因此，本文提出了一种新的MML方法，称为数据感知的单模态采样（DUS），旨在动态地缓解由采样引起的模态不平衡。具体来说，我们首先提出了一种新的累积模态差异来监测多模态学习过程。基于学习状态，我们提出了启发式和基于强化学习（RL）的数据感知单模态采样方法，以自适应地确定每次迭代中采样数据的数量，从而从采样的角度缓解模态不平衡。同时，我们的方法可以无缝地集成到几乎所有现有的多模态学习方法中作为插件。实验表明，与各种最先进的（SOTA）基线相比，DUS可以实现最佳性能。

🔬 方法详解

问题定义：现有的多模态学习方法在处理模态不平衡问题时，主要关注模型学习层面，例如设计特定的损失函数或注意力机制来平衡不同模态的贡献。然而，这些方法忽略了一个重要因素：单模态数据的采样方式。通常，这些方法采用均匀采样，即每个模态的数据以相同的概率被选择。这种方式忽略了不同模态数据本身的信息量差异，导致某些模态的信息被过度使用，而另一些模态的信息则被欠采样，从而加剧了模态不平衡问题。

核心思路：本文的核心思路是根据多模态学习的动态过程，自适应地调整每个模态的采样数量。具体来说，论文提出了一种数据感知的单模态采样方法（DUS），该方法能够根据当前的学习状态，动态地判断每个模态的重要性，并相应地调整其采样概率。通过这种方式，DUS能够缓解由采样引起的模态不平衡问题，从而提高多模态学习的性能。

技术框架：DUS方法主要包含两个关键模块：累积模态差异监测模块和数据感知的单模态采样模块。首先，累积模态差异监测模块用于评估当前多模态学习的状态，通过计算每个模态的预测结果与其他模态预测结果之间的差异，来衡量该模态的重要性。然后，数据感知的单模态采样模块根据累积模态差异的结果，动态地调整每个模态的采样概率。论文提出了两种具体的采样策略：一种是基于启发式的采样策略，另一种是基于强化学习的采样策略。

关键创新：该论文的关键创新在于从数据采样的角度解决多模态学习中的模态不平衡问题。与现有方法不同，DUS方法不是直接在模型学习层面进行平衡，而是通过调整每个模态的采样数量，从根本上缓解模态不平衡。此外，DUS方法可以作为插件集成到现有的多模态学习方法中，具有很强的通用性和灵活性。

关键设计：累积模态差异的计算方式为：首先，使用每个模态的数据训练一个独立的预测器。然后，对于每个样本，计算每个模态的预测结果与其他模态预测结果之间的差异。最后，将所有样本的差异值累加起来，得到该模态的累积模态差异。基于启发式的采样策略根据累积模态差异的大小，线性地调整每个模态的采样概率。基于强化学习的采样策略使用一个强化学习代理来学习最优的采样策略，该代理的状态空间包括累积模态差异、学习率等信息，动作空间包括每个模态的采样概率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DUS方法在多个多模态学习任务上取得了显著的性能提升。例如，在视频情感识别任务上，DUS方法相比于现有SOTA方法，准确率提升了2-3个百分点。此外，实验还验证了DUS方法作为插件的有效性，将其集成到不同的多模态学习模型中，均能带来性能提升。

🎯 应用场景

该研究成果可广泛应用于需要多模态信息融合的场景，例如视频理解、图像描述、语音识别、情感分析等。通过缓解模态不平衡问题，可以提高模型在这些任务上的性能和鲁棒性，尤其是在数据分布不均匀或模态信息缺失的情况下，具有重要的实际应用价值和潜在的商业前景。

📄 摘要（原文）

To address the modality learning degeneration caused by modality imbalance, existing multimodal learning~(MML) approaches primarily attempt to balance the optimization process of each modality from the perspective of model learning. However, almost all existing methods ignore the modality imbalance caused by unimodal data sampling, i.e., equal unimodal data sampling often results in discrepancies in informational content, leading to modality imbalance. Therefore, in this paper, we propose a novel MML approach called \underline{D}ata-aware \underline{U}nimodal \underline{S}ampling~(\method), which aims to dynamically alleviate the modality imbalance caused by sampling. Specifically, we first propose a novel cumulative modality discrepancy to monitor the multimodal learning process. Based on the learning status, we propose a heuristic and a reinforcement learning~(RL)-based data-aware unimodal sampling approaches to adaptively determine the quantity of sampled data at each iteration, thus alleviating the modality imbalance from the perspective of sampling. Meanwhile, our method can be seamlessly incorporated into almost all existing multimodal learning approaches as a plugin. Experiments demonstrate that \method~can achieve the best performance by comparing with diverse state-of-the-art~(SOTA) baselines.