Omnilingual-MsASR: Benchmarking Multimodal, Multilingual, Long-Form Multi-Speaker ASR of Omni Large Language Models

📄 arXiv: 2610.29455v1 📥 PDF

作者: Yuan Ge, Pei Zhang, Xize Cheng, Lingzhou Mu, Mingyang Wang, Jin Xu, Baosong Yang, Shengxiang Gao, Jingbo Zhu, Zhengtao Yu, Tong Xiao

分类: cs.CL

发布日期: 2026-10-21

🔗 代码/项目: GITHUB

💡 一句话要点

提出Omnilingual-MsASR以解决多语种长视频多说话人ASR问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 多语种识别 多模态融合 自动语音识别 说话者消歧

📋 核心要点

  1. 现有的Omni模态大型语言模型在处理长篇多说话人视频时，难以准确理解视频内容和识别说话者。
  2. 本文提出Omnilingual-MsASR基准，旨在评估多语种多模态长篇多说话人自动语音识别的能力，涵盖多种语言和场景。
  3. 实验结果显示，当前模型在细粒度时间定位和说话者消歧方面存在显著瓶颈，tcpWER经常超过100%。

📝 摘要（中文）

Omni模态大型语言模型在音频和视频理解方面取得了显著进展。然而，现有模型在处理长篇多说话人视频时面临挑战，尤其是在理解整个视频内容及识别说话者方面。为此，本文提出了Omnilingual-MsASR，一个涵盖六种语言、最长30分钟、最多20位说话者的多语种多模态基准，旨在评估模型的跨模态一致性及利用互补线索的能力。对领先的Omni模态LLMs的广泛评估显示出显著的性能瓶颈，tcpWER超过100%的现象频繁出现，突显了未来模型在细粒度时间定位、说话者消歧和跨模态协同方面的挑战。

🔬 方法详解

问题定义：本文旨在解决现有Omni模态大型语言模型在长篇多说话人视频理解中的不足，尤其是视频内容理解和说话者识别的挑战。现有方法在处理复杂场景时表现不佳，导致识别准确率低下。

核心思路：提出Omnilingual-MsASR基准，通过提供多语种和多模态的输入，评估模型的跨模态一致性及其利用互补信息的能力，以推动未来模型的发展。

技术框架：该框架包括音频和视频的并行输入，模型通过分析这两种模态的互补信息来提高识别性能。评估过程涵盖了多种语言和说话者场景，确保了基准的全面性。

关键创新：Omnilingual-MsASR的最大创新在于其多语种和多模态的设计，能够系统性地评估模型在复杂场景下的表现，与现有单一模态或单一语言的基准相比，提供了更全面的评估标准。

关键设计：在模型设计中，采用了针对多模态输入的特定损失函数和网络结构，以优化跨模态信息的融合和利用，确保模型能够有效处理长篇视频和多说话者的复杂性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，当前领先的Omni模态LLMs在Omnilingual-MsASR基准上的表现存在显著瓶颈，tcpWER常常超过100%，突显了在细粒度时间定位和说话者消歧方面的挑战。这些发现为未来模型的改进指明了方向。

🎯 应用场景

该研究的潜在应用领域包括多媒体内容的自动转录、会议记录、在线教育及多语言翻译等。通过提高长篇多说话人视频的识别准确性，能够显著提升信息获取的效率和准确性，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Omni-modal large language models (LLMs) have achieved remarkable progress in audio and video understanding. However, existing models struggle with long-form, multi-speaker videos, especially in understanding the entire video and recognizing who says what and when. To characterize the capability limit of current omni LLMs and guide future model development, we introduce Omnilingual-MsASR, a multilingual, multimodal benchmark for long-form Multi-speaker Automatic Speech Recognition (MsASR) covering six languages, recordings up to 30 minutes, and scenarios with up to 20 speakers. Omnilingual-MsASR provides parallel audio and video inputs to evaluate models' cross-modal consistency and their ability to exploit complementary cues across modalities. Extensive evaluations of leading omni-modal LLMs reveal substantial performance bottlenecks, while their tcpWERs frequently exceed 100%. These findings highlight fine-grained temporal localization, speaker disambiguation, and cross-modal synergy as key challenges for future omni-modal foundation models. Our work is available at https://github.com/QwenLM/Omnilingua-Bench/tree/main/Omnilingua-MSpeaker.