The Multimodal Information Based Speech Processing (MISP) 2025 Challenge: Audio-Visual Diarization and Recognition

📄 arXiv: 2505.13971v2 📥 PDF

作者: Ming Gao, Shilong Wu, Hang Chen, Jun Du, Chin-Hui Lee, Shinji Watanabe, Jingdong Chen, Siniscalchi Sabato Marco, Odette Scharenborg

分类: cs.SD, cs.AI, eess.AS

发布日期: 2025-05-20 (更新: 2025-05-27)

备注: Accepted by Interspeech 2025. Camera-ready version

💡 一句话要点

提出多模态会议转录方法以解决复杂声学条件下的挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 语音识别 说话者分离 会议转录 深度学习

📋 核心要点

  1. 现有的语音处理方法在复杂的会议环境中面临声学条件不佳、说话者重叠等挑战，导致识别准确率低。
  2. 本研究通过引入视频模态与音频结合，提出了一种多模态、多设备的会议转录方法，旨在提高说话者分离和语音识别的准确性。
  3. 实验结果显示，最佳的AVSD模型和AVSR系统分别在分离错误率和字符错误率上有显著提升，展示了多模态融合的有效性。

📝 摘要（中文）

会议是语音应用中一个宝贵但具有挑战性的场景，因其复杂的声学条件。本文总结了在2025年国际语音会议（Interspeech 2025）上举办的多模态信息基础语音处理挑战（MISP 2025 Challenge）的成果，重点关注通过结合视频模态与音频实现的多设备会议转录。挑战任务包括音频-视觉说话者分离（AVSD）、音频-视觉语音识别（AVSR）和音频-视觉分离与识别（AVDR）。我们介绍了挑战的目标、任务、数据集、基线系统及参与者提出的解决方案。表现最佳的系统在基线之上取得了显著提升：最佳AVSD模型的分离错误率（DER）为8.09%，提升了7.43%；最佳AVSR系统的字符错误率（CER）为9.48%，提升了10.62%；最佳AVDR系统的连接最小排列字符错误率（cpCER）为11.56%，提升了72.49%。

🔬 方法详解

问题定义：本论文旨在解决在复杂声学条件下进行会议转录时，现有方法在说话者分离和语音识别方面的不足，尤其是在说话者重叠和环境噪声影响下的表现。

核心思路：通过结合音频和视频模态的信息，利用多模态学习的方法来增强说话者的识别和分离能力，从而提高整体的转录准确性。

技术框架：整体架构包括数据预处理、特征提取、模型训练和评估四个主要模块。音频和视频数据通过特征提取模块分别提取特征后，输入到融合模型中进行联合训练。

关键创新：最重要的创新在于引入了音频与视频的多模态融合技术，显著提升了在复杂环境下的说话者分离和语音识别性能，与传统单一模态方法相比，能够更好地处理说话者重叠和背景噪声。

关键设计：在模型设计中，采用了多层卷积神经网络（CNN）和循环神经网络（RNN）的结合，并使用了特定的损失函数来优化说话者分离和语音识别的性能，同时对模型的超参数进行了细致调优，以确保最佳效果。

📊 实验亮点

实验结果显示，最佳的AVSD模型达到了8.09%的分离错误率，较基线提升了7.43%；最佳AVSR系统的字符错误率为9.48%，提升了10.62%；而最佳AVDR系统的连接最小排列字符错误率为11.56%，提升幅度高达72.49%，展现了多模态融合的显著效果。

🎯 应用场景

该研究的潜在应用领域包括会议记录、在线教育、视频会议等场景，能够有效提升语音转录的准确性和效率，具有广泛的实际价值。未来，随着多模态技术的进一步发展，该方法可能在更多复杂场景中得到应用，推动语音处理技术的进步。

📄 摘要（原文）

Meetings are a valuable yet challenging scenario for speech applications due to complex acoustic conditions. This paper summarizes the outcomes of the MISP 2025 Challenge, hosted at Interspeech 2025, which focuses on multi-modal, multi-device meeting transcription by incorporating video modality alongside audio. The tasks include Audio-Visual Speaker Diarization (AVSD), Audio-Visual Speech Recognition (AVSR), and Audio-Visual Diarization and Recognition (AVDR). We present the challenge's objectives, tasks, dataset, baseline systems, and solutions proposed by participants. The best-performing systems achieved significant improvements over the baseline: the top AVSD model achieved a Diarization Error Rate (DER) of 8.09%, improving by 7.43%; the top AVSR system achieved a Character Error Rate (CER) of 9.48%, improving by 10.62%; and the best AVDR system achieved a concatenated minimum-permutation Character Error Rate (cpCER) of 11.56%, improving by 72.49%.