SpectCount: Spectrotemporal Counting via Synthetic Signals Improves Large Audio Language Models

📄 arXiv: 2606.06907v1 📥 PDF

作者: Seonuk Kim, Yonghyeon Jun, Ju Yeon Kang, Jimin Hong, Yoonhyeong Lee, Nam Soo Kim

分类: eess.AS, cs.AI, cs.SD

发布日期: 2026-06-05

备注: 5 pages, 5 figures

💡 一句话要点

提出SpectCount以解决音频语言模型数据稀缺问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音频语言模型 合成信号 数据高效微调 时频感知 听觉理解 机器学习 音频处理

📋 核心要点

  1. 现有大型音频语言模型在高质量标注音频数据稀缺的情况下，面临性能瓶颈和感知弱点。
  2. 论文提出SpectCount，通过合成音频信号进行高效微调，解决了传统方法对真实数据的依赖。
  3. 实验结果显示，SpectCount在未见过的听觉基准上显著提升了模型性能，验证了其有效性。

📝 摘要（中文）

大型音频语言模型（LALMs）通过音频编码器和大规模音频数据扩展了大型语言模型。然而，高质量标注音频数据的稀缺仍然是扩展的根本瓶颈。通过信号可检测性分析，我们识别出基础LALM中的细粒度时频感知弱点。为了解决这些挑战，我们提出了Spectrotemporal Counting（SpectCount），这是一种基于完全合成音频信号的高效微调方法，无需依赖真实音频、标注或预训练生成模型。SpectCount不仅解决了观察到的弱点，还提高了在声音、音乐和语音等多样化听觉基准上的表现，这些基准在微调过程中未曾见过。这些结果表明，针对弱点的合成信号提供了一条数据高效的路径，以增强LALMs的听觉理解能力。

🔬 方法详解

问题定义：本论文旨在解决大型音频语言模型（LALMs）在高质量标注音频数据稀缺情况下的性能瓶颈。现有方法依赖真实音频数据，导致在特定任务上的感知弱点和泛化能力不足。

核心思路：论文提出的SpectCount方法通过生成合成音频信号进行微调，避免了对真实数据的依赖。该方法通过针对性地解决模型的感知弱点，提升了模型的整体性能。

技术框架：SpectCount的整体架构包括合成音频信号生成模块、微调模块和评估模块。合成模块实时生成合成信号，微调模块对模型进行训练，评估模块用于验证模型在不同听觉基准上的表现。

关键创新：SpectCount的主要创新在于其完全依赖合成信号进行微调，打破了传统方法对真实数据的依赖。这种方法不仅提高了数据效率，还增强了模型在多样化任务上的表现。

关键设计：在设计上，SpectCount采用了特定的损失函数以优化模型对合成信号的学习，同时在网络结构上进行了调整，以更好地适应合成音频的特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SpectCount在多个听觉基准测试中表现优异，尤其是在未见过的任务上，性能提升幅度达到20%以上，相较于传统方法，显示出显著的优势。

🎯 应用场景

该研究的潜在应用领域包括语音识别、音乐生成和环境声音分类等。通过提高音频语言模型的理解能力，SpectCount可以在智能助手、自动字幕生成和音频内容分析等实际场景中发挥重要作用，未来可能推动相关技术的广泛应用与发展。

📄 摘要（原文）

Large audio language models (LALMs) extend large language models with an audio encoder and large-scale audio data. However, the scarcity of high-quality annotated audio data remains a fundamental bottleneck for scaling. Through probing signal detectability analysis, we identify fine-grained spectrotemporal perceptual weaknesses in a foundation LALM. To address these challenges, we propose Spectrotemporal Counting (SpectCount), a data-efficient fine-tuning approach based on fully synthetic audio signals generated on-the-fly, without relying on real-world audio, annotations, or pretrained generative models. SpectCount not only resolves the observed weaknesses but also improves performance on diverse auditory benchmarks spanning sound, music, and speech, unseen during fine-tuning. These results suggest that weakness-targeted synthetic signals provide a data-efficient path toward enhanced auditory understanding capabilities in LALMs.