BAT-CLIP: Trimodal Alignment of Brain, Audio and Text

📄 arXiv: 2609.31180v1 📥 PDF

作者: Suhyun Kim, Jinmo Han, Danny Dongyeop Han, Ahhyun Lucy Lee, Jewoon Lee, Yonghyeon Gwon, Zach Paris, Chun Kee Chung, Saewoong Bahk, Nam Soo Kim, Seong Jae Hwang, Jiook Cha

分类: cs.SD, cs.AI, cs.LG, eess.AS

发布日期: 2026-09-25

备注: 6 pages, 2 figures. Accepted for oral presentation at the 2026 IEEE International Workshop on Machine Learning for Signal Processing (MLSP 2026)

💡 一句话要点

提出BAT-CLIP以解决多模态脑-音频-文本对齐问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑机接口 多模态对齐 自然语言处理 自监督学习 音频处理 文本处理 神经嵌入 CLIP

📋 核心要点

  1. 现有的脑-语音对齐方法仅依赖单一模态，导致在语义和声学细节之间的权衡，影响了对自然语言的解码效果。
  2. BAT-CLIP通过引入三模态对齐框架，能够同时对齐音频和文本模态，从而更全面地捕捉大脑的多模态处理能力。
  3. 在自然播客基准测试中，BAT-CLIP的表现优于现有的双模态CLIP基线，显示出更强的鲁棒性和表示能力。

📝 摘要（中文）

解码和解释自然语言的语音越来越依赖于与预训练的语音和语言表示空间的对齐。然而，当前的CLIP风格脑-语音对齐方法仅将神经活动锚定到单一的音频或文本模态，未能充分利用大脑的多模态语音处理能力。为此，本文提出了BAT-CLIP，这是首个CLIP风格的三模态对齐框架，能够将神经嵌入同时对齐到预训练的音频和文本锚点。实验结果表明，BAT-CLIP在自然播客基准测试中表现出比双模态CLIP基线更强的表示能力。

🔬 方法详解

问题定义：本文旨在解决当前脑-语音对齐方法在模态选择上的局限性，现有方法仅依赖音频或文本模态，导致信息损失和对自然语言的理解不足。

核心思路：BAT-CLIP的核心思想是通过三模态对齐框架，联合对齐神经嵌入到预训练的音频和文本锚点，从而充分利用大脑的多模态处理能力。

技术框架：BAT-CLIP的整体架构包括三个主要模块：音频模态处理、文本模态处理和联合对齐模块，所有模块在一个共享的音频-文本流形中进行训练。

关键创新：BAT-CLIP的最大创新在于其三模态对齐能力，能够同时捕捉音频的时序结构和文本的语义信息，这与传统的单模态对齐方法形成鲜明对比。

关键设计：在模型设计中，采用了自监督学习的基础模型进行CLIP训练，损失函数设计上结合了音频和文本的对齐损失，以确保模型在多模态对齐时的有效性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在自然播客基准测试中，BAT-CLIP的表现显著优于双模态CLIP基线，具体提升幅度达到XX%（具体数据未知），显示出其在多模态对齐任务中的有效性和鲁棒性。

🎯 应用场景

BAT-CLIP的研究成果在脑机接口、自然语言处理和多模态学习等领域具有广泛的应用潜力。它可以帮助改善脑-计算机接口的性能，使得通过脑电图信号解码自然语言变得更加准确和高效。此外，该框架的设计理念也可以推广到其他多模态学习任务中，推动相关领域的发展。

📄 摘要（原文）

Decoding and interpreting naturalistic speech from the brain increasingly relies on alignment to pretrained speech and language representation spaces. However, current CLIP-style brain-speech alignment ground neural activity to a single anchor modality-audio or text-despite the brain's inherently multimodal speech processing. This induces a trade-off: audio anchoring preserves temporal structure but weakens linguistic separability, while text anchoring captures semantics yet discards acoustic detail. We propose BAT-CLIP, the first CLIP-style trimodal alignment framework for iEEG that jointly aligns neural embeddings to both pretrained audio and text anchors in a shared, frozen audio-text manifold. On the naturalistic Podcast benchmark, BAT-CLIP yields more robust representations than bimodal CLIP baselines. We also highlight the importance of using self-supervised foundation models for CLIP training.