Controllable Spoken Dialogue Generation: An LLM-Driven Grading System for K-12 Non-Native English Learners

📄 arXiv: 2604.22542v1 📥 PDF

作者: Haidong Yuan, Haokun Zhao, Wanshi Xu, Songjun Cao, Qingyu Zhou, Long Ma, Hongjie Fan

分类: cs.CL, cs.AI

发布日期: 2026-04-24

💡 一句话要点

提出DDPO算法，构建LLM驱动的K-12非母语英语学习者可控对话生成系统

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 可控对话生成 大型语言模型 K-12英语学习 非母语教学 策略优化 DDPO算法 分级词汇表

📋 核心要点

  1. 现有LLM难以满足K-12非母语英语学习者的教学需求，存在能力与模型输出不匹配的问题。
  2. 提出能力对齐框架，通过分级词汇表和多轮对话语料库，使LLM输出适应学习者能力。
  3. 核心算法为DDPO，旨在保持对话多样性的同时，优化对话质量，提升对话自然性和教学价值。

📝 摘要（中文）

大型语言模型(LLMs)在非母语环境中往往无法满足K-12英语学习者的教学需求，因为存在能力不匹配的问题。为了解决这个普遍存在的挑战，我们引入了一个能力对齐的框架，该框架通过使用中国国家课程(CSE)作为一个代表性的案例，使LLM的输出适应学习者的能力。我们的框架通过一个四级分级系统来实现对词汇复杂性的精确控制，并由一套全面的新资源提供支持：分级词汇表和一个多轮对话语料库。我们的核心技术贡献是DDPO算法，即多样性驱动策略优化，这是一种基于多轮GRPO的方法，旨在保持对话的多样性，同时全面优化对话质量。该方法显著优于传统方法，在提高对话自然性和教学价值的同时，实现了低词汇表外率和高多样性。虽然我们的框架基于CSE，但它被设计为具有灵活性，可以很容易地适应其他教育标准。我们的模型、数据和代码都将开源，为个性化的英语口语练习提供一个可扩展的平台，有效地解决了K-12学习者在非沉浸式环境中面临的独特挑战。

🔬 方法详解

问题定义：论文旨在解决大型语言模型(LLMs)在非母语K-12英语教学中，由于能力不匹配而无法有效满足学习者需求的问题。现有方法难以在控制词汇复杂度的同时，保证对话的自然性和多样性，导致教学效果不佳。

核心思路：论文的核心思路是构建一个能力对齐的框架，通过分级词汇表和多轮对话语料库，使LLM的输出适应学习者的能力水平。同时，设计DDPO算法，在优化对话质量的同时，保持对话的多样性，从而提升教学效果。

技术框架：整体框架包含以下几个主要模块：1) 分级词汇表构建：基于中国国家课程(CSE)构建四级分级词汇表，用于控制生成对话的词汇复杂度。2) 多轮对话语料库构建：构建包含多轮对话的语料库，用于训练和评估模型。3) DDPO算法：使用DDPO算法对LLM进行微调，优化对话质量和多样性。4) 评估模块：评估生成对话的词汇复杂度、自然性、多样性和教学价值。

关键创新：最重要的技术创新点是DDPO算法（Diversity Driven Policy Optimization）。与传统的策略优化方法不同，DDPO旨在同时优化对话质量和多样性。它是一种基于多轮GRPO（Guided Response Policy Optimization）的方法，通过引入多样性驱动的奖励机制，鼓励模型生成更多样化的对话。

关键设计：DDPO算法的关键设计包括：1) 多样性奖励：设计多样性奖励函数，鼓励模型生成不同的对话。2) GRPO：使用GRPO作为基础优化算法，引导模型生成高质量的对话。3) 损失函数：综合考虑对话质量、多样性和词汇复杂度等因素，设计综合损失函数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文提出的DDPO算法在实验中表现出显著优势，实现了低词汇表外率和高对话多样性，同时提升了对话的自然性和教学价值。实验结果表明，该方法优于传统的策略优化方法，能够更好地满足K-12非母语英语学习者的需求。

🎯 应用场景

该研究成果可应用于K-12非母语英语学习场景，提供个性化的英语口语练习平台。通过控制对话的词汇难度和提供多样化的对话内容，可以有效提升学习者的口语能力和学习兴趣。该框架具有良好的可扩展性，可以应用于其他教育标准和语言学习场景。

📄 摘要（原文）

Large language models (LLMs) often fail to meet the pedagogical needs of K-12 English learners in non-native contexts due to a proficiency mismatch. To address this widespread challenge, we introduce a proficiency-aligned framework that adapts LLM outputs to learner abilities, using China's national curriculum (CSE) as a representative case. Our framework enables precise control over lexical complexity through a four-tier grading system, supported by a comprehensive suite of new resources: graded vocabulary lists and a multi-turn dialogue corpus. Our core technical contribution is the \textbf{DDPO} algorithm,Diversity Driven Policy Optimization, a multi-turn GRPO-based approach designed to preserve dialogue diversity while holistically optimizing dialogue quality. This method significantly outperforms conventional approaches, achieving low out-of-vocabulary rates and high diversity while enhancing conversational naturalness and pedagogical value. While grounded in the CSE, our framework is designed for flexibility and can be readily adapted to other educational standards. Our models, data, and code will all be open-sourced, providing a scalable platform for personalized English speaking practice that effectively addresses the unique challenges faced by K-12 learners in non-immersive environments.