OleSpeech-IV: A Large-Scale Multispeaker and Multilingual Conversational Speech Dataset with Diverse Topics

📄 arXiv: 2509.04702v1 📥 PDF

作者: Wei Chu, Yuanzhe Dong, Ke Tan, Dong Han, Xavier Menendez-Pidal, Ruchao Fan, Chenfeng Miao, Chanwoo Kim, Bhiksha Raj, Rita Singh

分类: cs.CL

发布日期: 2025-09-04

💡 一句话要点

OleSpeech-IV：一个大规模、多说话人、多语种、主题丰富的会话语音数据集

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 会话语音 数据集 多说话人 多语种 语音识别 说话人识别 语音合成

📋 核心要点

  1. 现有会话语音数据集在规模、多样性和标注质量方面存在局限性，阻碍了语音识别、说话人识别等领域的发展。
  2. OleSpeech-IV通过收集和处理大量公开的会话语音数据，并结合人工标注和专有流程，构建了一个高质量的大规模数据集。
  3. 该数据集包含多说话人、多语种和多样化主题的会话语音，并开源了一个子集，为非商业研究提供了宝贵资源。

📝 摘要（中文）

OleSpeech-IV数据集是一个大规模、多说话人、多语种、主题丰富的会话语音数据集。音频内容来自公开的英语播客、脱口秀、电话会议和其他对话。说话人姓名、发言轮次和文本转录由人工标注并通过专有流程进行优化，而时间戳和置信度分数等附加信息则来自该流程。IV表示其在Olewave数据集系列中处于第四层。此外，我们已经开源了一个子集OleSpeech-IV-2025-EN-AR-100，供非商业研究使用。

🔬 方法详解

问题定义：现有会话语音数据集的规模通常较小，覆盖的说话人和主题有限，且标注质量参差不齐。这些局限性阻碍了语音识别、说话人识别、语音合成等领域的研究进展，尤其是在真实场景下的应用。因此，需要一个更大规模、更多样化、更高质量的会话语音数据集来推动相关研究。

核心思路：OleSpeech-IV的核心思路是利用公开可用的音频资源，结合人工标注和自动化流程，构建一个大规模、多说话人、多语种、主题丰富的会话语音数据集。通过人工标注保证数据质量，通过自动化流程提高数据处理效率。

技术框架：OleSpeech-IV的构建流程主要包括以下几个阶段：1) 数据收集：从公开的英语播客、脱口秀、电话会议等渠道收集音频数据。2) 人工标注：人工标注说话人姓名、发言轮次和文本转录。3) 自动化处理：利用专有流程对人工标注进行优化，并生成时间戳和置信度分数等附加信息。4) 数据集构建：将处理后的数据整理成数据集，并进行质量控制。

关键创新：OleSpeech-IV的关键创新在于其大规模、多说话人、多语种和多样化主题的特性。与现有数据集相比，OleSpeech-IV在规模和多样性方面具有显著优势，能够更好地支持各种会话语音相关的研究。

关键设计：OleSpeech-IV的关键设计包括：1) 数据来源的多样性：从多种渠道收集音频数据，保证数据集的主题多样性。2) 人工标注的质量控制：采用严格的标注规范和质量控制流程，保证标注质量。3) 自动化流程的优化：不断优化自动化流程，提高数据处理效率和准确性。4) 数据集的开源：开源一个子集，方便非商业研究使用。

📊 实验亮点

OleSpeech-IV数据集规模庞大，包含大量多说话人、多语种的会话语音数据。该数据集的开源子集OleSpeech-IV-2025-EN-AR-100为非商业研究提供了宝贵资源，有望促进会话语音处理领域的研究进展。具体性能数据和对比基线需要在后续研究中进行评估。

🎯 应用场景

OleSpeech-IV数据集可广泛应用于语音识别、说话人识别、语音合成、对话系统等领域。该数据集能够帮助研究人员开发更鲁棒、更准确的语音处理模型，并推动相关技术在智能助手、语音搜索、语音翻译等实际应用中的发展。大规模多语种的特性也有助于提升跨语言语音处理能力。

📄 摘要（原文）

OleSpeech-IV dataset is a large-scale multispeaker and multilingual conversational speech dataset with diverse topics. The audio content comes from publicly-available English podcasts, talk shows, teleconferences, and other conversations. Speaker names, turns, and transcripts are human-sourced and refined by a proprietary pipeline, while additional information such as timestamps and confidence scores is derived from the pipeline. The IV denotes its position as Tier IV in the Olewave dataset series. In addition, we have open-sourced a subset, OleSpeech-IV-2025-EN-AR-100, for non-commercial research use.