Assessment of L2 Oral Proficiency using Speech Large Language Models

📄 arXiv: 2505.21148v1 📥 PDF

作者: Rao Ma, Mengjie Qian, Siyuan Tang, Stefano Bannò, Kate M. Knill, Mark J. F. Gales

分类: cs.CL, cs.SD, eess.AS

发布日期: 2025-05-27

备注: submitted to Interspeech

💡 一句话要点

利用语音大语言模型评估二语口语能力，显著提升评估性能与泛化性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语音大语言模型 口语评估 二语学习 自动评分 多模态学习

📋 核心要点

  1. 现有口语评估方法，如级联系统和端到端模型，存在信息损失和性能瓶颈等问题。
  2. 本文提出利用多模态大语言模型直接进行口语评估，旨在克服传统方法的局限性。
  3. 实验结果表明，该方法在口语评估任务上超越了现有基线，并展现出良好的泛化能力。

📝 摘要（中文）

针对二语（L2）英语学习者日益增长的需求，本文探索了使用语音大语言模型（LLMs）进行口语评估的可能性。传统方法包括统计模型、文本编码器和自监督语音模型，但级联系统存在信息损失，端到端评估器也存在局限性。本文比较了基于回归和分类目标的多种训练策略，结果表明，语音LLMs在两个数据集上均优于以往的基线模型。此外，得益于LLM预训练过程中获得的音频理解知识，该评估器在跨部分或跨任务评估中表现出强大的泛化能力。

🔬 方法详解

问题定义：论文旨在解决自动口语评估（SLA）中现有方法存在的不足。传统的级联系统在处理语音到文本的转换过程中会丢失信息，而端到端评估器在性能上存在局限性。因此，需要一种更有效的方法来准确评估二语学习者的口语水平。

核心思路：论文的核心思路是利用预训练的语音大语言模型（LLMs）的强大音频理解能力，直接将语音作为输入，避免了中间文本表示带来的信息损失。通过对LLM进行微调，使其能够直接预测口语能力等级或分数。

技术框架：整体框架包括以下步骤：1) 使用语音数据输入到预训练的语音LLM中；2) 对LLM进行微调，使其适应口语评估任务。微调过程中，可以使用回归或分类作为目标。回归目标是直接预测口语分数，而分类目标是将口语样本划分到不同的能力等级。3) 使用微调后的LLM对新的口语样本进行评估，输出相应的分数或等级。

关键创新：最重要的创新点在于直接利用语音LLM进行口语评估，避免了语音识别带来的误差累积和信息损失。此外，利用LLM在预训练阶段学习到的通用音频理解知识，可以提高评估器的泛化能力，使其在不同的数据集和评估任务上都能表现良好。

关键设计：论文比较了不同的训练策略，包括使用回归和分类作为目标函数。此外，还探索了不同的LLM架构和微调方法。具体的参数设置和网络结构取决于所使用的LLM，但通常会采用标准的微调流程，例如使用Adam优化器，并根据验证集的性能调整学习率和训练轮数。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

实验结果表明，基于语音LLM的口语评估方法在两个数据集上均优于以往的基线模型。具体而言，该方法在跨部分和跨任务评估中表现出强大的泛化能力，证明了LLM预训练带来的优势。相较于传统方法，该方法在性能上取得了显著提升，为自动口语评估领域带来了新的突破。

🎯 应用场景

该研究成果可广泛应用于在线语言学习平台、口语考试系统和语言教学辅助工具中。它可以为二语学习者提供自动化的口语评估和反馈，帮助他们提高口语水平。此外，该技术还可以用于评估语音治疗的效果，以及开发更智能的语音交互系统。

📄 摘要（原文）

The growing population of L2 English speakers has increased the demand for developing automatic graders for spoken language assessment (SLA). Historically, statistical models, text encoders, and self-supervised speech models have been utilised for this task. However, cascaded systems suffer from the loss of information, while E2E graders also have limitations. With the recent advancements of multi-modal large language models (LLMs), we aim to explore their potential as L2 oral proficiency graders and overcome these issues. In this work, we compare various training strategies using regression and classification targets. Our results show that speech LLMs outperform all previous competitive baselines, achieving superior performance on two datasets. Furthermore, the trained grader demonstrates strong generalisation capabilities in the cross-part or cross-task evaluation, facilitated by the audio understanding knowledge acquired during LLM pre-training.