SEA-HELM Audio: Evaluating Multilingual ASR-LLM Pipeline Performance Across SEA-HELM Subsets

📄 arXiv: 2610.19869v1 📥 PDF

作者: Yixian Tan, Aulia Adila, Jonathan Heng, Kunat Pipatanakul, Donghang Wu, Anocha Sutaveephamochanon

分类: cs.SD, cs.CL

发布日期: 2026-10-14

💡 一句话要点

提出SEA-HELM Audio评估框架以解决多语言ASR-LLM性能问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言评估 自动语音识别 大型语言模型 语音输入 性能评估 东南亚语言 语音代理

📋 核心要点

  1. 现有的文本基准无法有效预测多语言语音代理的性能，尤其是在语音输入情况下的准确性显著下降。
  2. 论文提出了SEA-HELM Audio框架，通过合成语音评估ASR-LLM管道在多语言环境下的表现，填补了现有评估的空白。
  3. 实验结果显示，语音输入的准确率相较于文本输入下降显著，特别是在泰米尔语中，准确率下降超过40个百分点。

📝 摘要（中文）

我们介绍了SEA-HELM Audio，这是一个东南亚多语言评估框架，旨在扩展基于文本的SEA-HELM基准，以评估级联自动语音识别（ASR）和大型语言模型（LLM）管道的性能下降。通过合成语音，我们比较了五种语言（中文、英语、马来语、印尼语和泰米尔语）在多项选择推理和指令跟随任务中的语音输入和文本输入性能。我们使用相同的验证器评估开放权重和商业ASR-LLM系统，并量化语音差距，即文本和语音准确率之间的差异。结果显示，准确率显著下降，多项选择推理的准确率下降幅度为9.00至18.50个百分点，指令跟随的下降幅度为20.00至42.86个百分点。泰米尔语的降幅最大，超过40个百分点。我们的发现突显了仅基于文本的基准在预测语音代理可靠性方面的局限性，并展示了SEA-HELM Audio在评估多语言语音代理系统中的价值。

🔬 方法详解

问题定义：本论文旨在解决现有文本基准在评估多语言语音代理性能时的局限性，特别是在语音输入情况下的准确性下降问题。

核心思路：通过引入SEA-HELM Audio框架，利用合成语音进行多语言ASR-LLM管道的性能评估，从而更全面地反映语音输入的实际表现。

技术框架：该框架包括多个模块，首先生成合成语音，然后通过ASR系统进行语音识别，最后将识别结果与文本输入进行比较，评估准确性差异。

关键创新：SEA-HELM Audio的创新在于将语音输入与文本输入的性能进行直接比较，揭示了语音输入的准确性下降幅度，填补了现有研究的空白。

关键设计：在实验中，使用了开放权重和商业ASR-LLM系统，采用相同的验证器进行评估，确保了结果的可比性和准确性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，语音输入在多项选择推理任务中的准确率下降幅度为9.00至18.50个百分点，而在指令跟随任务中下降幅度为20.00至42.86个百分点。特别是泰米尔语的准确率下降超过40个百分点，显著高于其他语言，突显了该框架的有效性和必要性。

🎯 应用场景

该研究的潜在应用领域包括多语言语音助手、自动翻译系统以及语音识别技术的优化。通过提供更准确的性能评估，SEA-HELM Audio可以帮助开发者改进语音代理的设计，提高用户体验，尤其是在多语言环境中。未来，该框架可能推动更广泛的语音技术应用和研究，促进不同语言之间的无缝交流。

📄 摘要（原文）

We introduce SEA-HELM Audio, a Southeast Asian (SEA) multilingual evaluation framework that extends the text-based SEA-HELM benchmark to assess performance degradation in cascaded automatic speech recognition and large language model (ASR-LLM) pipelines. Using synthesized speech, we compare speech-input and text-input performance across five languages (Chinese, English, Malay, Indonesian, and Tamil) on multiple-choice reasoning and instruction-following tasks. We evaluate open-weight and commercial ASR-LLM systems using identical verifiers and quantify the speech gap as the difference between text and speech accuracy. Results show substantial degradation, with accuracy drops of 9.00 to 18.50 percentage points for multiple-choice reasoning and 20.00 to 42.86 points for instruction following. Tamil exhibits the largest degradation, exceeding 40 percentage points. Our findings highlight the limitations of text-only benchmarks in predicting voice-agent reliability and demonstrate the value of SEA-HELM Audio for evaluating multilingual voice-agent systems.