GRAMformer: Any-Order Modality Interactions via Volumetric Multimodal Cross-Attention

📄 arXiv: 2606.06249v1 📥 PDF

作者: Giordano Cicchetti, Eleonora Grassucci, Danilo Comminiello

分类: cs.CV, cs.LG

发布日期: 2026-06-04

💡 一句话要点

提出GRAMformer以解决多模态交互建模复杂性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 交叉注意力 Transformer 体积计算 联合几何 信息整合 模型效率

📋 核心要点

  1. 现有的多模态注意力方法在处理多模态交互时存在计算复杂度高或无法显式建模联合交互的问题。
  2. 本文提出了体积多模态交叉注意力（VMA），通过联合几何形状定义注意力分数，从而实现任意顺序的模态交互建模。
  3. 实验结果表明，GRAMformer在多模态学习任务中表现出更高的有效性和效率，相较于现有方法有显著提升。

📝 摘要（中文）

基于Transformer的多模态模型依赖注意力机制来整合异构模态的信息。现有的多模态注意力方法通常通过成对的点积交互或将所有模态连接到键中来计算注意力分数，这导致了计算复杂度的增加或未能显式建模多模态的联合交互。本文提出了一种新的交叉注意力机制——体积多模态交叉注意力（VMA），其注意力分数是查询与多个模态特定键的联合几何形状的函数。VMA能够捕捉超越成对相似性的联合多模态依赖关系，从而实现任意顺序的模态交互建模。我们将VMA集成到新颖的多模态Transformer架构GRAMformer中，旨在有效整合任意数量的模态，并在多模态学习任务中展示了其有效性和效率的提升。

🔬 方法详解

问题定义：现有的多模态注意力机制通常依赖于成对的点积计算或模态连接，导致计算复杂度呈平方级增长，且无法有效建模多模态之间的联合交互关系。

核心思路：本文提出的体积多模态交叉注意力（VMA）机制，通过考虑查询与多个模态特定键的联合几何形状来定义注意力分数，从而能够捕捉更复杂的多模态依赖关系，实现任意顺序的模态交互建模。

技术框架：GRAMformer架构集成了VMA模块，整体流程包括输入模态的特征提取、VMA计算注意力分数、以及通过注意力机制进行信息整合，最终输出融合后的多模态表示。

关键创新：VMA的核心创新在于其通过联合几何形状计算注意力分数，突破了传统方法的局限，能够有效建模任意顺序的模态交互，提升了多模态学习的能力。

关键设计：在设计中，VMA的计算涉及多个模态的特征向量，采用特定的损失函数来优化模型性能，网络结构上则结合了Transformer的优势，确保了高效的信息处理和融合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GRAMformer在多模态学习任务中相较于基线模型在有效性和效率上均有显著提升，具体性能数据表明，模型在多个任务上均达到了更高的准确率和更快的计算速度。

🎯 应用场景

该研究的潜在应用领域包括多模态学习、计算机视觉、自然语言处理等，能够有效提升多模态系统在复杂场景下的表现，具有广泛的实际价值和未来影响力。

📄 摘要（原文）

Transformer-based multimodal models rely on attention mechanisms to integrate information across heterogeneous modalities. Despite their success, existing multimodal attention formulations compute their scores through collections of pairwise dot-product interactions or by concatenating all the modalities into the keys, even when multiple modalities should be jointly involved. As a consequence, current approaches either incur quadratic complexity in the number of modalities or fail to explicitly model interactions that depend on the joint configuration of multiple representations. In this work, we introduce the Volumetric Multimodal cross-Attention (VMA), a novel cross-attention mechanism in which attention scores are defined as a function of the joint geometry of a query and multiple modality-specific keys. VMA computes the volume spanned by query and key vectors across multiple modalities, capturing joint multimodal dependencies beyond pairwise similarity, enabling native modeling of any-order modality interactions. We integrate VMA into our novel multimodal transformer architecture, named GRAMformer, explicitly designed to integrate any number of modalities. We evaluate the proposed model on multimodal learning tasks, demonstrating improved effectiveness and efficiency.