MSI-Bench: Evaluating Multi-Speaker Voice Interaction for Collaborative AI Agents

📄 arXiv: 2609.24812v1 📥 PDF

作者: Chenxu Xiong, Dongming Shen, Yuzhi Tang, Wentao Ma, Mu Li, Alex Smola

分类: cs.CL

发布日期: 2026-09-21

备注: 23 pages, 6 figures, 5 tables. Dataset: https://huggingface.co/datasets/M2cha4l1124/MSI-Bench ; Code: https://github.com/boson-ai/MSI-Bench

💡 一句话要点

提出MSI-Bench以评估多语音交互中的协作AI代理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多说话者交互 语音识别 AI代理 评估基准 机器学习 自然语言处理

📋 核心要点

  1. 多说话者场景中的语音交互面临的挑战尚未得到充分解决，尤其是在记忆和推理方面。
  2. 提出MSI-Bench基准，针对多说话者的记忆、指令跟随和推理能力进行评估，包含多种测试案例。
  3. 实验表明，当前模型在多说话者场景中的表现仍有待提升，特别是在决策和响应准确性方面。

📝 摘要（中文）

语音为AI代理提供了一种自然且即时的交互界面。在会议、家庭和协作工作等多方场景中，语音代理的应用面临多说话者的挑战。本文提出了多说话者交互基准（MSI-Bench），用于评估多说话者的语音交互能力。基准包含1152个测试案例，涵盖普通话和英语，主要评估多说话者的记忆、指令跟随和推理能力。实验结果显示，当前最强配置在英语和普通话的通过率分别为66.8%和54.5%。

🔬 方法详解

问题定义：本文旨在解决多说话者语音交互中存在的评估不足问题，现有方法在多方场景下的表现不佳，尤其是在记忆和推理能力方面存在瓶颈。

核心思路：通过构建MSI-Bench基准，提供多样化的测试案例，评估多说话者的交互能力，特别关注记忆、指令跟随和推理的能力。

技术框架：MSI-Bench基准由1152个测试案例组成，均匀分布在普通话和英语中，涵盖多方多轮音频场景，包含参与者上下文、预期工具调用和原子评分标准。

关键创新：MSI-Bench的创新在于其针对多说话者交互的专门设计，识别出说话者基础感知、说话者范围决策和对话约束等具体目标，填补了现有评估方法的空白。

关键设计：测试案例设计中考虑了多说话者的上下文信息，采用了多种评估标准，确保能够全面评估模型在真实场景中的表现。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，当前最强模型在英语和普通话的通过率分别为66.8%和54.5%，而开放权重配置的通过率仅为34.0%和19.3%。这些结果揭示了多说话者交互中的关键挑战，特别是在感知和决策方面的不足。

🎯 应用场景

该研究的潜在应用领域包括会议助手、智能家居和协作工作平台等，能够提升多说话者场景下的AI代理交互能力。未来，MSI-Bench可作为评估和优化多说话者语音交互系统的重要工具，推动相关技术的发展。

📄 摘要（原文）

Voice provides a natural and immediate interface for AI agents. Many settings in which voice agents could be useful, including meetings, households, and collaborative work, are inherently multi-speaker. Supporting these settings introduces challenges that are largely absent from one-on-one interaction. We introduce the Multi-Speaker Interaction Benchmark (MSI-Bench) for evaluating multi-speaker voice interaction. Each test case is a short multi-party multi-turn audio scene with participant context, expected tool calls, and atomic rubrics. The benchmark targets three capability families: multi-speaker memory, multi-speaker instruction following, and multi-speaker reasoning. It comprises 1,152 test cases, evenly split between Mandarin Chinese and English (576 each). The strongest configuration on each split passes all rubrics on only 66.8% of English and 54.5% of Mandarin cases, and the strongest open-weight configuration on 34.0% and 19.3%. Failure analysis separates perception from reasoning: open-weight models are bottlenecked by the multi-speaker audio front-end, while frontier systems still fail speaker-scoped decision making on clean transcripts---and models across the board often respond when no one has addressed them. These results identify speaker-grounded perception, speaker-scoped decision making, and conversational restraint as concrete targets for future voice agents.