URO-Bench: Towards Comprehensive Evaluation for End-to-End Spoken Dialogue Models

📄 arXiv: 2502.17810v3 📥 PDF

作者: Ruiqi Yan, Xiquan Li, Wenxi Chen, Zhikang Niu, Chen Yang, Ziyang Ma, Kai Yu, Xie Chen

分类: cs.CL, eess.AS

发布日期: 2025-02-25 (更新: 2025-08-10)

💡 一句话要点

提出URO-Bench，用于端到端语音对话模型全面评测

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语音对话模型 端到端模型 语音到语音 评估基准 多语言 多轮对话 副语言信息 音频理解

📋 核心要点

  1. 现有语音对话模型评估缺乏对语音相关方面（如副语言线索、音频质量）的全面考量，尤其是在语音到语音场景下。
  2. URO-Bench旨在提供一个全面的语音对话模型评测基准，涵盖多语言、多轮对话和副语言等多个维度。
  3. 实验表明，现有开源模型在指令遵循和高级语音理解方面存在不足，URO-Bench可促进相关研究。

📝 摘要（中文）

大型语言模型（LLMs）的最新进展极大地推动了端到端语音对话模型（SDMs）的发展。与基于文本的LLMs相比，SDMs的评估框架应涵盖认知维度（例如，逻辑推理、知识）和语音相关方面（例如，副语言线索、音频质量）。然而，目前仍然缺乏对语音到语音（S2S）场景下SDMs的全面评估。为了解决这一差距，我们提出了URO-Bench，一个针对SDMs的广泛基准。值得注意的是，URO-Bench是第一个涵盖多语言、多轮对话和副语言评估的S2S基准。我们的基准分为两个难度级别：基础赛道和专业赛道，每个赛道包含20个测试集，评估语音对话模型在理解、推理和口头对话方面的能力。在提出的基准上的评估表明，当前的开源SDMs在日常问答任务中表现良好，但在指令遵循能力方面落后于其骨干LLMs，并且遭受灾难性遗忘。它们在副语言信息和音频理解的高级评估中的表现仍然不佳，突出了在该方向上进一步研究的必要性。我们希望URO-Bench可以通过对现有模型进行多方面的评估并帮助跟踪该领域的进展来促进语音对话模型的发展。

🔬 方法详解

问题定义：现有端到端语音对话模型（SDMs）的评估体系不够完善，尤其是在语音到语音（S2S）场景下。现有的评估方法往往侧重于文本层面的理解和生成，忽略了语音信号本身所携带的信息，例如副语言信息（情感、语调等）和音频质量。此外，对于多语言和多轮对话的支持也较为有限。这导致我们难以全面了解SDMs在真实应用场景中的性能表现。

核心思路：URO-Bench的核心思路是构建一个多维度、多任务的评估基准，全面考察SDMs在理解（Understanding）、推理（Reasoning）和口头对话（Oral conversation）三个方面的能力。通过设计不同的测试集，分别评估模型在多语言、多轮对话、副语言信息处理和音频理解等方面的性能。这样可以更准确地反映模型在不同场景下的优缺点，为未来的研究提供指导。

技术框架：URO-Bench基准包含两个难度级别：基础赛道和专业赛道。每个赛道包含20个测试集，涵盖了不同的任务和场景。这些测试集的设计旨在评估SDMs在以下几个方面的能力：1) 基础的问答能力；2) 指令遵循能力；3) 多轮对话能力；4) 多语言支持能力；5) 副语言信息理解能力；6) 音频理解能力。评估过程通常涉及将语音输入模型，然后分析模型的语音输出，并与预定义的标准答案进行比较。

关键创新：URO-Bench的主要创新在于它是第一个涵盖多语言、多轮对话和副语言评估的S2S基准。以往的SDMs评估往往侧重于文本层面的指标，而URO-Bench则更加关注语音信号本身的信息，从而更全面地评估模型的性能。此外，URO-Bench还提供了两个难度级别，可以满足不同研究者的需求。

关键设计：URO-Bench的关键设计包括：1) 多样化的测试集，涵盖不同的任务和场景；2) 针对语音信号的评估指标，例如语音质量、情感识别准确率等；3) 易于使用的评估工具包，方便研究者进行模型评估和比较。具体的参数设置和网络结构取决于被评估的SDMs模型本身，URO-Bench主要提供评估框架和数据。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，现有开源SDMs在日常问答任务中表现良好，但在指令遵循能力方面落后于其骨干LLMs，并且存在灾难性遗忘问题。在副语言信息和音频理解的高级评估中，模型的表现仍然不佳，这表明需要在这些方向上进行进一步的研究。

🎯 应用场景

URO-Bench可应用于语音助手、智能客服、会议转录等领域，促进语音对话模型的研发与优化。通过全面评估模型在多语言、多轮对话和副语言理解等方面的能力，可以提升用户交互体验，并推动人机交互技术的进步。未来，该基准有望成为语音对话领域的重要参考标准。

📄 摘要（原文）

Recent advances in large language models (LLMs) have driven significant progress in end-to-end spoken dialogue models (SDMs). In contrast to text-based LLMs, the evaluation framework for SDMs should encompass both cognitive dimensions (e.g., logical reasoning, knowledge) and speech-related aspects (e.g., paralinguistic cues, audio quality). However, there is still a lack of comprehensive evaluations for SDMs in speech-to-speech (S2S) scenarios. To address this gap, we propose URO-Bench, an extensive benchmark for SDMs. Notably, URO-Bench is the first S2S benchmark that covers evaluations about multilingualism, multi-round dialogues, and paralinguistics. Our benchmark is divided into two difficulty levels: basic track and pro track, each comprising 20 test sets, evaluating the spoken dialogue model's abilities in Understanding, Reasoning, and Oral conversation. Evaluations on our proposed benchmark reveal that current open-source SDMs perform rather well in daily QA tasks, but lag behind their backbone LLMs in terms of instruction-following ability and also suffer from catastrophic forgetting. Their performance in advanced evaluations of paralinguistic information and audio understanding remains subpar, highlighting the need for further research in this direction. We hope that URO-Bench can facilitate the development of spoken dialogue models by providing a multifaceted evaluation of existing models and helping to track progress in this area.