Fusion or Confusion? Multimodal Complexity Is Not All You Need

📄 arXiv: 2512.22991v2 📥 PDF

作者: Tillmann Rheude, Roland Eils, Benjamin Wild

分类: cs.LG

发布日期: 2025-12-28 (更新: 2026-01-14)

💡 一句话要点

提出SimBaMM多模态学习基线，挑战多模态复杂架构的必要性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 深度学习 Transformer 后期融合 基线模型

📋 核心要点

  1. 现有方法过度追求多模态架构的复杂性，缺乏对方法论严谨性的关注，导致性能提升不明显。
  2. 提出SimBaMM，一种基于后期融合Transformer的简单基线模型，用于多模态学习任务。
  3. 实验表明，在标准化和严格调优的条件下，复杂架构并不总是优于SimBaMM，甚至不如单模态基线。

📝 摘要（中文）

针对多模态学习中深度学习架构日益复杂，并假设多模态特定方法能够提升性能的现状，本文通过大规模实证研究，在标准化条件下重新实现了19种具有重要影响的方法，以此挑战上述假设。研究在包含多达23种模态的9个不同数据集上评估了这些方法，并测试了它们在原始范围之外的新任务中的泛化能力，包括模态缺失的情况。本文提出了一种用于多模态学习的简单基线（SimBaMM），一种后期融合Transformer架构，并证明在标准化的实验条件下，经过严格的超参数调优，更复杂的架构并不能可靠地优于SimBaMM。统计分析表明，复杂方法的性能与SimBaMM相当，并且通常无法始终优于经过良好调整的单模态基线，尤其是在小数据设置中。为了支持研究结果，本文包含了一个案例研究，重点介绍了文献中常见的的方法学缺陷，并提供了一个实用的可靠性清单，以促进可比较、稳健和值得信赖的未来评估。总而言之，本文提倡将重点从追求架构新颖性转移到方法论的严谨性上。

🔬 方法详解

问题定义：现有方法在多模态学习中过度追求架构的复杂性，认为更复杂的架构能够更好地捕捉模态间的交互关系，从而提升性能。然而，这种复杂性往往是以牺牲方法论的严谨性为代价的，例如缺乏标准化的实验设置、不充分的超参数调优等，导致结果难以复现和比较。因此，论文旨在挑战这种“复杂性至上”的观念，探究简单模型是否也能在多模态学习中取得具有竞争力的结果。

核心思路：论文的核心思路是提出一个简单但有效的多模态学习基线模型SimBaMM，并在标准化的实验条件下，与一系列复杂的现有方法进行公平的比较。通过严格的超参数调优和统计分析，评估这些方法在不同数据集和任务上的泛化能力，从而揭示复杂架构的实际价值。

技术框架：SimBaMM采用后期融合的Transformer架构。具体流程如下： 1. 单模态编码：每个模态的数据首先通过独立的单模态编码器进行特征提取。这些编码器可以是简单的线性层，也可以是更复杂的神经网络。 2. 特征融合：将所有模态的特征向量拼接在一起。 3. Transformer处理：将融合后的特征向量输入到Transformer编码器中，进行模态间的交互和信息整合。 4. 任务预测：Transformer的输出经过一个预测层，得到最终的预测结果。

关键创新：SimBaMM的关键创新在于其简洁性。它避免了复杂的模态间交互模块和注意力机制，而是采用简单的后期融合策略，并通过Transformer进行全局的信息整合。这种设计使得SimBaMM易于实现和训练，并且具有良好的泛化能力。

关键设计： * 后期融合：选择后期融合是因为其简单性和有效性，避免了早期融合可能带来的模态冲突问题。 * Transformer编码器：使用标准的Transformer编码器，可以有效地捕捉模态间的长程依赖关系。 * 超参数调优：对所有方法（包括SimBaMM和对比方法）进行严格的超参数调优，以确保公平的比较。

📊 实验亮点

实验结果表明，在9个不同的多模态数据集上，SimBaMM的性能与19种复杂的现有方法相当，甚至在某些情况下优于它们。统计分析表明，复杂方法并没有始终优于SimBaMM，尤其是在小数据设置中。这表明，在多模态学习中，方法论的严谨性比架构的复杂性更为重要。

🎯 应用场景

该研究成果可应用于各种多模态数据分析任务，例如：多模态情感识别、多模态医学诊断、多模态机器人控制等。通过使用简单有效的基线模型，可以降低开发成本，提高模型的可解释性，并促进多模态学习的实际应用。

📄 摘要（原文）

Deep learning architectures for multimodal learning have increased in complexity, driven by the assumption that multimodal-specific methods improve performance. We challenge this assumption through a large-scale empirical study reimplementing 19 high-impact methods under standardized conditions. We evaluate them across nine diverse datasets with up to 23 modalities, and test their generalizability to new tasks beyond their original scope, including settings with missing modalities. We propose a Simple Baseline for Multimodal Learning (SimBaMM), a late-fusion Transformer architecture, and demonstrate that under standardized experimental conditions with rigorous hyperparameter tuning of all methods, more complex architectures do not reliably outperform SimBaMM. Statistical analyses show that complex methods perform on par with SimBaMM and often fail to consistently outperform well-tuned unimodal baselines, especially in small-data settings. To support our findings, we include a case study highlighting common methodological shortcomings in the literature followed by a pragmatic reliability checklist to promote comparable, robust, and trustworthy future evaluations. In summary, we argue for a shift in focus: away from the pursuit of architectural novelty and toward methodological rigor.