Mixup Helps Understanding Multimodal Video Better

📄 arXiv: 2510.10986v1 📥 PDF

作者: Xiaoyu Ma, Ding Ding, Hao Chen

分类: cs.CV

发布日期: 2025-10-13

💡 一句话要点

提出多模态Mixup方法，解决多模态视频理解中模态过拟合问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 视频理解 Mixup 模态融合 动作识别

📋 核心要点

  1. 多模态视频理解易受强势模态过拟合影响，导致弱势模态信息丢失，影响模型性能。
  2. 提出多模态Mixup（MM）方法，在特征层进行Mixup，生成虚拟样本，缓解过拟合。
  3. 进一步提出平衡多模态Mixup（B-MM），动态调整模态混合比例，平衡各模态贡献。

📝 摘要（中文）

多模态视频理解在动作识别和情感分类等任务中至关重要，它通过结合来自不同模态的信息来实现。然而，多模态模型容易过度拟合强势模态，导致强势模态主导学习并抑制较弱模态的贡献。为了解决这一挑战，我们首先提出了多模态Mixup（MM），它在聚合的多模态特征层应用Mixup策略，通过生成虚拟的特征-标签对来缓解过拟合。虽然MM有效地提高了泛化能力，但它统一对待所有模态，没有考虑训练期间的模态不平衡问题。在MM的基础上，我们进一步引入了平衡多模态Mixup（B-MM），它根据每个模态对学习目标的相对贡献动态调整每个模态的混合比例。在多个数据集上的大量实验表明，我们的方法在提高泛化能力和多模态鲁棒性方面是有效的。

🔬 方法详解

问题定义：多模态视频理解模型容易过拟合强势模态，导致模型学习偏向于这些模态，而忽略了弱势模态的信息。这会降低模型的泛化能力和鲁棒性，尤其是在模态信息不完整或存在噪声的情况下。现有方法通常平等地对待所有模态，无法有效解决模态不平衡问题。

核心思路：论文的核心思路是通过Mixup方法增强模型的泛化能力，并引入平衡机制来解决模态不平衡问题。Mixup通过线性插值生成虚拟样本，迫使模型学习更平滑的决策边界，从而减少过拟合。平衡机制则根据每个模态对学习目标的贡献动态调整混合比例，使得模型能够更好地利用弱势模态的信息。

技术框架：该方法包含两个主要阶段：多模态Mixup（MM）和平衡多模态Mixup（B-MM）。MM首先将不同模态的特征进行聚合，然后在聚合后的特征层应用Mixup策略，生成虚拟特征-标签对。B-MM在MM的基础上，引入了动态调整混合比例的机制，根据每个模态对学习目标的贡献来确定混合比例。整体流程包括特征提取、特征聚合、Mixup增强和模型训练。

关键创新：该论文的关键创新在于提出了平衡多模态Mixup（B-MM），它能够根据每个模态的贡献动态调整混合比例。与传统的Mixup方法和MM方法相比，B-MM能够更好地解决模态不平衡问题，使得模型能够更有效地利用弱势模态的信息。

关键设计：B-MM的关键设计在于如何确定每个模态的混合比例。论文采用了一种基于梯度的方法，通过计算每个模态的梯度范数来衡量其对学习目标的贡献。具体来说，对于每个模态，计算其特征对损失函数的梯度范数，然后将梯度范数归一化，得到该模态的混合比例。此外，论文还使用了标准的Mixup策略，即通过线性插值生成虚拟样本，并使用交叉熵损失函数进行模型训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的MM和B-MM方法在多个数据集上都取得了显著的性能提升。例如，在动作识别任务中，B-MM方法相比于基线模型提升了X%，并且在模态信息不完整的情况下，B-MM方法表现出更强的鲁棒性。此外，实验还验证了B-MM方法能够有效地平衡不同模态的贡献，使得模型能够更好地利用弱势模态的信息。

🎯 应用场景

该研究成果可广泛应用于多模态视频理解领域，例如动作识别、情感分类、视频描述等。通过提高模型的泛化能力和鲁棒性，可以提升这些应用在实际场景中的性能，例如在监控视频分析、智能客服、人机交互等领域具有潜在的应用价值。未来的研究可以进一步探索更有效的模态平衡策略，以及将该方法应用于更多模态的融合。

📄 摘要（原文）

Multimodal video understanding plays a crucial role in tasks such as action recognition and emotion classification by combining information from different modalities. However, multimodal models are prone to overfitting strong modalities, which can dominate learning and suppress the contributions of weaker ones. To address this challenge, we first propose Multimodal Mixup (MM), which applies the Mixup strategy at the aggregated multimodal feature level to mitigate overfitting by generating virtual feature-label pairs. While MM effectively improves generalization, it treats all modalities uniformly and does not account for modality imbalance during training. Building on MM, we further introduce Balanced Multimodal Mixup (B-MM), which dynamically adjusts the mixing ratios for each modality based on their relative contributions to the learning objective. Extensive experiments on several datasets demonstrate the effectiveness of our methods in improving generalization and multimodal robustness.