BLAB: Brutally Long Audio Bench
作者: Orevaoghene Ahia, Martijn Bartelds, Kabir Ahuja, Hila Gonen, Valentin Hofmann, Siddhant Arora, Shuyue Stella Li, Vishal Puttagunta, Mofetoluwa Adeyemi, Charishma Buchireddy, Ben Walls, Noah Bennett, Shinji Watanabe, Noah A. Smith, Yulia Tsvetkov, Sachin Kumar
分类: cs.AI, cs.CL, cs.SD, eess.AS
发布日期: 2025-05-05 (更新: 2025-05-12)
💡 一句话要点
提出BLAB：一个面向长音频理解的极具挑战性的评测基准
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长音频理解 音频语言模型 评测基准 语音识别 情感分析 时间推理 定位任务
📋 核心要点
- 现有音频语言模型主要在短音频片段上进行评估，缺乏对长时程对话语音的探索，无法反映自然用户交互。
- BLAB基准通过长达51分钟的音频片段，评估模型在定位、时长估计、情感和计数等任务上的能力。
- 实验表明，包括Gemini 2.0 Pro和GPT-4o在内的先进模型在BLAB上表现不佳，性能随音频时长增加而下降。
📝 摘要（中文）
为了提升音频语言模型(LMs)理解多样化语音交互的能力，本文提出了Brutally Long Audio Bench (BLAB)，这是一个具有挑战性的长音频评测基准。BLAB通过平均时长51分钟的音频片段，在定位、时长估计、情感和计数任务上评估音频LMs。BLAB包含833+小时的多样化、完整音频片段，每个片段都配有人工标注的、基于文本的自然语言问答。音频数据来自许可来源，并经过人工辅助过滤以确保任务合规性。在BLAB上评估了六个开源和专有的音频LMs，发现包括Gemini 2.0 Pro和GPT-4o在内的先进模型都难以胜任BLAB中的任务。分析揭示了任务难度和音频时长之间的权衡。总体而言，音频LMs在长音频语音上的表现不佳，性能随着时长增加而下降。它们在定位、时间推理、计数方面表现较差，并且难以理解非音素信息，更多地依赖于提示而不是音频内容。BLAB为开发具有鲁棒长音频理解能力的音频LMs提供了一个具有挑战性的评估框架。
🔬 方法详解
问题定义：现有音频语言模型主要针对短音频片段进行评估，无法有效处理实际应用中常见的长时程对话语音。这导致模型在理解上下文、进行时间推理以及捕捉细微情感变化等方面存在困难。现有方法的痛点在于缺乏针对长音频理解能力的有效评估和训练数据。
核心思路：BLAB的核心思路是构建一个包含大量长时程音频数据，并配以高质量人工标注的问答对的评测基准。通过在定位、时长估计、情感和计数等任务上评估模型性能，可以全面了解模型在长音频理解方面的能力。这样设计的目的是为了推动音频语言模型向更实用、更贴近真实应用场景的方向发展。
技术框架：BLAB的整体框架包括数据收集、数据清洗、任务设计和模型评估四个主要阶段。首先，从具有许可的来源收集大量的长时程音频数据。然后，通过人工辅助过滤过程，确保数据的质量和任务合规性。接着，设计了四个具有挑战性的任务：定位、时长估计、情感和计数。最后，使用人工标注的问答对作为ground truth，评估不同音频语言模型在这些任务上的性能。
关键创新：BLAB最重要的技术创新点在于其专注于长音频理解能力的评估。与现有基准主要关注短音频片段不同，BLAB使用平均时长51分钟的音频片段，更贴近真实应用场景。此外，BLAB还设计了四个具有挑战性的任务，可以全面评估模型在长音频理解方面的不同方面能力。
关键设计：BLAB的关键设计包括：1) 音频数据的来源多样化，涵盖不同的说话人、场景和主题；2) 人工标注的问答对质量高，能够准确反映音频内容；3) 任务设计具有挑战性，能够区分不同模型的性能差异；4) 评估指标全面，能够反映模型在不同方面的能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，包括Gemini 2.0 Pro和GPT-4o在内的先进音频语言模型在BLAB上表现不佳，尤其是在定位、时间推理和计数等任务上。性能随着音频时长增加而显著下降，表明现有模型在长音频理解方面存在明显不足。这突显了BLAB作为长音频理解评测基准的价值。
🎯 应用场景
BLAB的研究成果可应用于语音助手、智能会议系统、自动客服等领域。通过提升模型对长音频的理解能力，可以实现更自然、更流畅的人机交互，提高用户体验。未来，BLAB可以促进音频语言模型在语音识别、语音合成、情感分析等方面的进一步发展。
📄 摘要（原文）
Developing large audio language models (LMs) capable of understanding diverse spoken interactions is essential for accommodating the multimodal nature of human communication and can increase the accessibility of language technologies across different user populations. Recent work on audio LMs has primarily evaluated their performance on short audio segments, typically under 30 seconds, with limited exploration of long-form conversational speech segments that more closely reflect natural user interactions with these models. We introduce Brutally Long Audio Bench (BLAB), a challenging long-form audio benchmark that evaluates audio LMs on localization, duration estimation, emotion, and counting tasks using audio segments averaging 51 minutes in length. BLAB consists of 833+ hours of diverse, full-length audio clips, each paired with human-annotated, text-based natural language questions and answers. Our audio data were collected from permissively licensed sources and underwent a human-assisted filtering process to ensure task compliance. We evaluate six open-source and proprietary audio LMs on BLAB and find that all of them, including advanced models such as Gemini 2.0 Pro and GPT-4o, struggle with the tasks in BLAB. Our comprehensive analysis reveals key insights into the trade-offs between task difficulty and audio duration. In general, we find that audio LMs struggle with long-form speech, with performance declining as duration increases. They perform poorly on localization, temporal reasoning, counting, and struggle to understand non-phonemic information, relying more on prompts than audio content. BLAB serves as a challenging evaluation framework to develop audio LMs with robust long-form audio understanding capabilities.