A Unified and Reproducible Experimentation Framework for Speech Understanding

📄 arXiv: 2605.30899v1 📥 PDF

作者: Jing Peng, Junhao Du, Chenghao Wang, Hanqi Li, Yi Yang, Yixuan Wang, Xiaoyu Gu, Guanyu Chen, Yucheng Wang, Jiang Li, Zhangjie Zhao, Haoran Wang, Wenming Tu, Haoyu Li, Duo Ma, Lirong Qian, Yu Xi, Wen Wen, Jiaqi Guo, Hui Zhang, Shuai Fan, Wenbin Jiang, Shuai Wang, Kai Yu

分类: eess.AS, cs.AI, cs.SD

发布日期: 2026-05-29

备注: This paper is submitted to INTERSPEECH 2026

💡 一句话要点

SURE：统一且可复现的语音理解实验框架，提升模型选型效率。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语音理解 实验框架 可复现性 语音LLM 模型评估

📋 核心要点

  1. 现有语音理解模型评估缺乏可比性，后处理不一致且训练结果难以复现，阻碍了面向实际部署的模型选择。
  2. SURE框架通过标准化预测格式、归一化和评分，统一了不同语音理解模型的评估流程，提升可比性。
  3. SURE还提供代理辅助的训练转换流程，将论文和代码转化为可复现的训练管道，方便研究者复现和改进模型。

📝 摘要（中文）

语音基础模型和语音LLM极大地推动了语音理解的发展，但面向部署的模型选择受到非可比评估的阻碍，这些评估源于不匹配的后处理，以及跨数据规模和管道难以复现的训练结果。我们提出了SURE，一个统一的实验框架，它标准化了预测格式、归一化和评分。SURE在具有代表性的任务上，在现实的声学和语言压力下，评估了从传统管道到语音LLM的各种范式下的强大系统。除了评估之外，SURE还引入了一个代理辅助的训练转换流程，该流程将论文和代码映射到版本化的、可运行的训练管道下，并在匹配的开放数据子集上使用统一的协议。总而言之，SURE提高了面向部署评估的可比性和可复现性。

🔬 方法详解

问题定义：现有语音理解模型，包括传统的语音识别流水线和新兴的语音LLM，在评估和训练上存在诸多问题。评估方面，不同模型采用不同的后处理方式和评价指标，导致评估结果缺乏可比性。训练方面，由于数据规模和训练流程的差异，论文中报告的结果难以复现，阻碍了研究进展和实际部署。

核心思路：SURE框架的核心思路是提供一个统一的、标准化的实验平台，解决语音理解模型评估和训练中的可比性和可复现性问题。通过统一的预测格式、归一化方法和评分标准，确保不同模型在相同条件下进行评估。同时，提供代理辅助的训练转换流程，将论文和代码转化为可复现的训练管道，方便研究者复现和改进模型。

技术框架：SURE框架主要包含两个核心模块：评估模块和训练模块。评估模块负责对各种语音理解模型进行统一评估，包括标准化预测格式、归一化和评分。训练模块提供代理辅助的训练转换流程，将论文和代码映射到版本化的、可运行的训练管道下，并在匹配的开放数据子集上使用统一的协议。整体流程旨在提高评估的可比性和训练的可复现性。

关键创新：SURE框架的关键创新在于其统一性和可复现性。它不仅提供了一个统一的评估平台，还提供了一个代理辅助的训练转换流程，使得研究者可以轻松地复现论文中的结果，并在此基础上进行改进。这种统一性和可复现性对于语音理解领域的研究进展和实际应用具有重要意义。

关键设计：SURE框架的关键设计包括：1) 标准化的预测格式，确保不同模型输出的预测结果可以进行统一处理；2) 统一的归一化方法，消除不同模型输出范围的差异；3) 标准化的评分标准，确保评估结果具有可比性；4) 代理辅助的训练转换流程，简化了训练流程的复现过程；5) 版本化的训练管道，方便追踪和管理不同版本的训练流程。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

SURE框架在多个代表性语音理解任务上进行了评估，包括语音识别、语音情感识别等。实验结果表明，SURE能够有效地评估不同范式下的语音理解模型，并提供可比的性能指标。此外，SURE的训练转换流程也成功地将多个论文中的模型复现，验证了其可复现性。

🎯 应用场景

SURE框架可应用于语音助手、智能客服、语音搜索等多个领域。通过提供可比和可复现的评估，SURE可以帮助开发者更有效地选择和优化语音理解模型，从而提升用户体验和系统性能。此外，SURE还可以促进语音理解领域的研究进展，加速新技术的落地应用。

📄 摘要（原文）

Speech foundation models and Speech LLMs have advanced speech understanding, yet deployment-oriented model selection is hindered by non-comparable evaluations caused by mismatched post-processing, and by training results that are hard to reproduce across data scales and pipelines. We present SURE, a unified experimentation framework that standardizes prediction formats, normalization, and scoring. SURE evaluates strong systems across paradigms, from conventional pipelines to Speech LLMs, on representative tasks under realistic acoustic and linguistic stressors. Beyond evaluation, SURE introduces an agent-assisted training conversion flow that maps paper and code into versioned, runnable training pipelines under a unified protocol on matched open-data subsets. Overall, SURE improves comparability and reproducibility for deployment-oriented evaluation.