SEA-SpeechBench: A Large-Scale Multitask Benchmark for Speech Understanding Across Southeast Asia
作者: Jingyi Liao, Wenyu Zhang, Zhuohan Liu, Yingxu He, Geyu Lin, Xunlong Zou, Shuo Sun, Syed Ali Redha Alsagoff, Ai Ti Aw
分类: cs.CL
发布日期: 2026-09-09
备注: Accepted to EMNLP 2026
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出SEA-SpeechBench以解决东南亚语言语音理解评估不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语音理解 多任务基准 东南亚语言 情感识别 时间理解 低资源语言 自动语音识别 语音翻译
📋 核心要点
- 现有的语音理解评估框架主要集中于英语，导致东南亚语言在语音处理任务中严重缺乏代表性。
- 论文提出SEA-SpeechBench，旨在通过多任务基准评估11种东南亚语言的语音理解能力，涵盖多样化的任务和丰富的数据集。
- 实验结果显示，现有模型在时间理解、情感识别和语音翻译等任务上表现不佳，尤其是在低资源语言上存在显著性能差距。
📝 摘要（中文）
随着音频和多模态大语言模型的快速发展，语音理解能力得到了显著提升，但现有评估框架主要集中于英语，导致东南亚语言严重缺乏代表性。我们提出SEA-SpeechBench，这是首个大规模多任务基准，评估11种东南亚语言的语音理解能力，涵盖97,194个样本、99个评估集和597小时的音频数据。基准包括3个类别的9个多样化任务，涉及语音处理、旁语言分析和时间理解。我们发现，现有模型在时间理解、情感识别和语音翻译等任务上的表现仍然不尽如人意，尤其是在低资源语言如缅甸语和泰米尔语上，性能落后于英语高达41个百分点。我们的研究揭示了模型的关键局限性，并强调了包容性模型开发的必要性。
🔬 方法详解
问题定义：本论文旨在解决东南亚语言在语音理解评估中的缺乏代表性问题。现有方法主要集中于英语，导致东南亚语言的语音处理能力未得到充分评估。
核心思路：论文提出SEA-SpeechBench基准，涵盖11种东南亚语言，通过多任务评估框架反映用户与音频语言模型的交互，旨在提高对低资源语言的理解能力。
技术框架：整体架构包括三个主要模块：语音处理（自动语音识别、语音翻译、口语问答）、旁语言分析（情感、性别、年龄、说话者识别）和时间理解，后者是一个新维度，涉及时间戳内容查询和在最长3分钟音频序列中的时间定位。
关键创新：SEA-SpeechBench是首个针对东南亚语言的多任务基准，特别是在时间理解和情感识别方面的评估，填补了现有评估框架的空白。
关键设计：在模型评估中，采用多语言提示，支持本地东南亚语言和英语，反映用户与模型的真实交互。实验中发现，低资源语言如缅甸语和泰米尔语的表现显著低于英语，最大差距达到41个百分点。
🖼️ 关键图片
📊 实验亮点
实验结果显示，现有开源和专有系统在时间理解、情感识别和语音翻译等任务上的表现均不理想，尤其是在低资源语言上，性能落后于英语高达41个百分点。这一发现揭示了模型的关键局限性，强调了包容性模型开发的必要性。
🎯 应用场景
SEA-SpeechBench的研究成果可广泛应用于多种领域，包括智能语音助手、自动翻译系统和情感分析工具等。通过提升对东南亚语言的理解能力，该基准将促进相关技术的发展，推动多语言环境下的用户体验优化，具有重要的实际价值和社会影响。
📄 摘要（原文）
The rapid advancement of audio and multimodal large language models has unlocked transformative speech understanding capabilities, yet evaluation frameworks remain predominantly English-centric, leaving Southeast Asian (SEA) languages critically underrepresented. We introduce SEA-SpeechBench, to the best of our knowledge, the first large-scale multitask benchmark that evaluates speech understanding in 11 SEA languages through 97,194 samples across 99 evaluation sets and 597 hours of curated audio data. Our benchmark comprises 9 diverse tasks across 3 categories: speech processing (automatic speech recognition, speech translation, spoken question answering), paralinguistic analysis (emotion, gender, age, speaker recognition), and temporal understanding, a novel dimension featuring timestamped content queries and temporal localization within extended audio sequences up to 3 minutes. We implement multilingual prompting in both native SEA languages and English to reflect user interactions with audio-language models. Evaluation of leading open-source and proprietary systems reveals marked performance gaps. Across all models, performance remains underwhelming on temporal understanding, emotion recognition, and speech translation. Prompting in low-resource languages such as Burmese and Tamil lags behind English by up to 41 percentage points. Our findings expose critical model limitations and underscore the need for inclusive model development. The SEA-SpeechBench benchmark is available at https://zwenyu.github.io/SEA-SpeechBench/.