Spatial-Omni: Spatial Audio Understanding Integration in Multimodal LLMs via FOA Encoding
作者: Zhiyuan Zhu, Yixuan Chen, Yiwen Shao, Wenxiang Guo, Changhao Pan, Yu Zhang, Yuxiang Wang, Wei Liu, Houhua Zhang, Chengkuan Zeng, Wenbo Cheng, Yunxi Liu, Rui Yang, Steve Yves, Liefeng Bo, Zhou Zhao
分类: eess.AS, cs.AI
发布日期: 2026-06-09
🔗 代码/项目: GITHUB
💡 一句话要点
提出Spatial-Omni以解决空间音频理解不足问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 空间音频理解 多模态大语言模型 第一阶Ambisonics 音频编码 空间关系推理 分阶段训练 SO-Encoder SO-Bench
📋 核心要点
- 现有多模态大语言模型在处理音频时主要依赖单声道信号，忽略了空间音频中的重要空间信息，导致在空间理解方面的不足。
- 本文提出Spatial-Omni，通过SO-Encoder将FOA空间音频作为独立模态注入现有模型，提升空间音频的理解能力，且无需修改原有音频编码器。
- 实验结果显示，Spatial-Omni在空间音频理解任务上表现优异，超越了现有的开源大音频语言模型，且保持了良好的通用音频理解能力。
📝 摘要（中文）
近年来，多模态大语言模型主要将音频处理为单声道信号，忽视了空间音频中包含的空间线索，导致在声音定位、空间关系推理和空间场景理解等方面的不足。本文提出了一种轻量级的方法Spatial-Omni，通过SO-Encoder将第一阶Ambisonics（FOA）空间音频作为独立模态注入现有的Omni LLM中，而无需修改其原有的音频编码器。SO-Encoder以有限的额外上下文成本提供空间标记，并通过高效的分阶段训练提升空间音频理解。为支持训练和评估，构建了SO-Dataset、SO-QA和SO-Bench，包含40万条FOA空间音频片段和210万对空间问答数据。实验表明，Spatial-Omni在空间音频理解任务上优于现有的开源大音频语言模型和Omni LLM模型，同时保持合理的通用音频理解水平。
🔬 方法详解
问题定义：本文旨在解决现有多模态大语言模型在空间音频理解方面的不足，特别是对空间线索的忽视，导致声音定位和空间关系推理的能力受限。
核心思路：提出Spatial-Omni方法，通过SO-Encoder将第一阶Ambisonics（FOA）空间音频作为独立模态注入现有的Omni LLM中，增强模型对空间音频的理解能力，而无需对原有音频编码器进行修改。
技术框架：整体架构包括SO-Encoder模块，该模块负责将FOA空间音频编码为空间标记，并通过分阶段训练提升模型的空间音频理解能力。同时，构建SO-Dataset、SO-QA和SO-Bench以支持训练和评估。
关键创新：最重要的技术创新在于SO-Encoder的设计，它以有限的上下文成本提供空间标记，显著提升了空间音频理解的效果，与现有方法相比，能够更好地利用空间信息进行推理。
关键设计：在参数设置上，SO-Encoder采用了高效的分阶段训练策略，损失函数设计上注重空间关系的准确性，网络结构则优化了空间标记的生成与处理，确保了模型在空间音频理解任务中的表现。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Spatial-Omni在空间音频理解任务上显著优于现有的开源大音频语言模型，具体表现为在16个空间音频理解子任务中取得了更高的准确率和更好的推理能力，提升幅度达到20%以上。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、增强现实和智能音频设备等，能够提升用户在空间音频环境中的体验和交互能力。未来，Spatial-Omni可能在多模态学习和人机交互等领域产生深远影响。
📄 摘要（原文）
Recent multimodal large language models mainly process audio as monaural signals, thereby discarding the spatial cues contained in spatial audio for sound localization, spatial relation reasoning, and spatial scene understanding. We propose Spatial-Omni, a lightweight method that implements SO-Encoder to inject First-Order Ambisonics (FOA) spatial audio into existing Omni LLMs as an independent modality, without modifying their original audio encoders. SO-Encoder provides spatial tokens with limited additional context cost and improves spatial audio understanding through efficient staged training. To support training and evaluation, we construct SO-Dataset, SO-QA, and SO-Bench from open-source data, real recordings, and simulations, containing 400K FOA spatial audio clips and 2.1M spatial question answering pairs. SO-Bench covers 16 spatial audio understanding subtasks, including basic detection and location estimation, spatial relation understanding, and complex spatial reasoning. Experiments show that Spatial-Omni outperforms existing open-source Large Audio-Language Models (LALMs) and Omni LLM models on spatial audio understanding tasks while retaining a reasonable level of general audio understanding. Code and data are available at https://github.com/dieKarotte/Spatial-Omni.