Hear, Localize, and Reason: Spatially Aware Scene Understanding for Audio-Visual LLMs

📄 arXiv: 2610.21588v1 📥 PDF

作者: Kim Sung-Bin, Lee Jung-Mok, Jinwoo Jung, Oh Hyun-Bin, Hyeonggon Ryu, David Harwath, Tae-Hyun Oh

分类: cs.CV, cs.SD

发布日期: 2026-10-15

备注: NeurIPS 2026; Project page: https://hlrllm.github.io/

💡 一句话要点

提出HLR-AVSceneQA和HLR-LLM以解决音频视觉模型空间理解问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音频视觉模型 空间理解 多模态学习 双耳音频 推理能力

📋 核心要点

  1. 现有的音频视觉模型在空间定位和关系推理方面表现有限，无法有效处理声音与视觉场景的关系。
  2. 本文提出HLR-AVSceneQA基准和HLR-LLM模型，通过引入双耳空间音频分支，增强模型的空间理解能力。
  3. 实验结果显示，HLR-LLM在空间音频视觉场景理解上显著优于现有模型，提升了多步空间推理的能力。

📝 摘要（中文）

音频视觉大型语言模型（AV-LLMs）在多模态理解方面取得了显著进展，但大多数模型将音频视为单声道语义内容，限制了其对声音来源及其与视觉场景关系的推理能力。为此，本文提出了HLR-AVSceneQA基准，评估模型在听觉识别、声音源定位及其与视觉场景关系推理方面的能力。同时，提出HLR-LLM，通过在单声道语义音频路径中增加双耳空间音频分支，增强音频视觉基础模型。实验表明，HLR-LLM在空间音频视觉场景理解方面显著提升，而不影响语义音频视觉感知。

🔬 方法详解

问题定义：本文旨在解决音频视觉模型在空间理解和推理方面的不足，现有方法多集中于单一的音频语义内容，无法有效定位声音来源及其与视觉场景的关系。

核心思路：提出HLR-AVSceneQA基准和HLR-LLM模型，通过引入双耳空间音频分支，增强模型的空间音频理解能力，并结合多步推理的链式思维监督。

技术框架：HLR-LLM模型包含两个主要路径：单声道语义音频路径和双耳空间音频路径，模型通过这两条路径共同处理音频信息，并进行空间推理。

关键创新：HLR-LLM的核心创新在于引入双耳空间音频分支，使模型能够在空间上更准确地定位声音来源，并进行更复杂的关系推理，这是与现有方法的本质区别。

关键设计：模型训练采用了课程学习策略，结合最终阶段的链式思维监督，以提高多步空间推理的能力，同时在损失函数和网络结构上进行了优化，以确保语义和空间理解的平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HLR-LLM在空间音频视觉场景理解上相较于现有AV-LLMs有显著提升，尤其在空间定位和关系推理方面，性能提升幅度达到XX%（具体数据未知），展示了其在多模态理解中的潜力。

🎯 应用场景

该研究的潜在应用领域包括智能监控、增强现实和虚拟现实等场景，在这些领域中，准确的音频定位和视觉理解对于用户体验至关重要。未来，该技术可能推动更智能的多模态交互系统的发展，提升人机交互的自然性和有效性。

📄 摘要（原文）

Audio-visual large language models (AV-LLMs) have made strong progress in multimodal understanding, yet most treat audio as monaural semantic content, limiting their ability to reason about where sounds originate and how they relate to the visual scene. Recent spatial audio-visual studies address parts of this problem, but often focus on specific abilities, such as spatial correspondence or direction and distance reasoning. In this work, we introduce HLR-AVSceneQA, a comprehensive benchmark with a hear-localize-reason hierarchy that evaluates whether models can recognize what is heard, localize sound sources in egocentric and allocentric views, and use these localized sources to reason about how they relate to the visual scene. We further introduce HLR-LLM, which augments a strong audio-visual foundation model with a binaural spatial audio branch alongside its monaural semantic audio pathway. We train HLR-LLM with a curriculum that incorporates final-stage chain-of-thought supervision for multi-step spatial reasoning. Experiments show that existing AV-LLMs remain limited in spatial grounding and relational reasoning, while HLR-LLM substantially improves spatial audio-visual scene understanding without compromising semantic audio-visual perception.