Exploring Diffusion Transformers for Cross-Modal Augmentation in Multimodal Brain State Decoding

📄 arXiv: 2609.11341v1 📥 PDF

作者: Ziwei Wang, Xingyi He, Hongbin Wang, Tianwang Jia, Bohan Fang, Dongrui Wu

分类: cs.AI

发布日期: 2026-09-10

备注: CoMA-DiT, a cross-modal augmentation framework built on Diffusion Transformer, extends multimodal learning beyond fusion by leveraging paired modalities as mutual generative supervision to enrich training data and improve brain state decoding

💡 一句话要点

提出CoMA-DiT以解决多模态脑状态解码中的数据增强问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态解码 跨模态学习 扩散变换器 数据增强 脑机接口 情感识别 生成监督

📋 核心要点

  1. 现有的多模态脑状态解码方法主要关注模态融合，未能充分利用模态间的对应关系来增强训练数据。
  2. 本文提出的CoMA-DiT通过将配对模态视为相互生成监督的来源，利用跨模态注意力进行速度预测，增强了多模态表示学习。
  3. 实验结果显示，CoMA-DiT在多模态任务中表现优异，超越20个基线方法，准确率和宏观F1得分显著提升。

📝 摘要（中文）

多模态脑状态解码主要集中在融合配对模态进行预测，但很少探讨如何进一步利用其对应关系来丰富训练数据和改善多模态表示学习。为此，本文提出了CoMA-DiT，一种双向跨模态扩散变换器，用于潜在数据增强，视配对模态为相互生成监督的来源，而不仅仅是融合的输入。CoMA-DiT通过跨模态注意力对配对模态进行速度预测，并通过可靠性门控残差机制自适应地注入结果变异。实验结果表明，CoMA-DiT在多模态听觉注意解码和情感识别任务中，准确率和宏观F1得分分别比无增强基线提升了4.28%和6.70%。

🔬 方法详解

问题定义：本文旨在解决多模态脑状态解码中对配对模态的融合利用不足的问题。现有方法通常将模态视为独立输入，未能有效利用其相互关系进行数据增强。

核心思路：CoMA-DiT的核心思想是将配对模态视为相互生成监督的来源，通过跨模态注意力机制增强模态间的信息流动，从而提高多模态表示的学习效果。

技术框架：CoMA-DiT的整体架构包括输入模态的编码、跨模态注意力机制、速度预测模块和可靠性门控残差机制。该框架通过动态调整模态间的交互来实现数据增强。

关键创新：本研究的主要创新在于将模态间的对应关系转化为生成监督，而非简单的融合输入。这一设计使得模型能够更好地捕捉模态间的功能性交互。

关键设计：在模型设计中，采用了可靠性门控机制来动态调整残差注入的强度，确保生成的变异具有较高的可信度。此外，损失函数的设计也考虑了模态间的相互影响，以优化模型的学习过程。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，CoMA-DiT在多模态听觉注意解码和情感识别任务中，准确率和宏观F1得分分别比无增强基线提升了4.28%和6.70%。该模型在20个代表性基线方法中表现优异，展现出其强大的性能和有效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在脑机接口、情感计算和多模态学习等领域。通过增强多模态数据的利用，CoMA-DiT可以提高相关任务的准确性和鲁棒性，推动智能系统在复杂环境中的应用。

📄 摘要（原文）

Multimodal brain state decoding has largely focused on fusing paired modalities for prediction, but has rarely explored how their correspondence can be further exploited to enrich training data and improve multimodal representation learning. To address this gap, we propose CoMA-DiT, a bidirectional cross-modal Diffusion Transformer for latent augmentation that treats paired modalities as sources of mutual generative supervision rather than merely as inputs to be fused. CoMA-DiT conditions velocity prediction on the paired modality through cross-modal attention and adaptively injects the resulting variation via a reliability-gated residual mechanism. Experiments on multimodal auditory attention decoding and emotion recognition showed that CoMA-DiT consistently outperformed 20 representative baselines, achieving absolute gains of 4.28% and 6.70% in accuracy and macro-F1 over the no-augmentation baseline, respectively. Extensive ablation, sensitivity, visualization, and interpretability analyses further demonstrated its robustness, generalizability, and ability to capture functionally relevant cross-modal interactions. These findings support a broader view of multimodal learning: Paired modalities can serve not only as inputs for fusion but also as supervision sources that augment one another.