Leveraging Large Language Models for Robot-Assisted Learning of Morphological Structures in Preschool Children with Language Vulnerabilities

📄 arXiv: 2509.22287v1 📥 PDF

作者: Stina Sundstedt, Mattias Wingren, Susanne Hägglund, Daniel Ventus

分类: cs.RO, cs.AI, cs.HC

发布日期: 2025-09-26

备注: 12 pages, 2 figures, Preprint of: Sundstedt, S., Wingren, M., Hägglund, S. & Ventus, D. (2025). Leveraging Large Language Models for Robot-Assisted Learning of Morphological Structures in Preschool Children with Language Vulnerabilities. In: Stephanidis, C., Antona, M., Ntoa, S. & Salvendy, G. (eds.), Communications in Computer and Information Science, vol. 2523, pp. 415-425. Springer

期刊: Communications in Computer and Information Science(2025). Stephanidis, C., Antona, M., Ntoa, S. & Salvendy, G. (eds.). p. 415-425 11 p. ( Communications in Computer and Information Science; vol. 2523)

DOI: 10.1007/978-3-031-94153-5_41

💡 一句话要点

利用大型语言模型辅助机器人为语言障碍幼儿提供形态结构学习

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人辅助学习 大型语言模型 语言障碍儿童 形态结构学习 人机交互

📋 核心要点

  1. 现有方法依赖人工干预，对教育者语言能力要求高，且难以保证互动性和趣味性。
  2. 利用大型语言模型，机器人能够自动生成和传递特定形态目标，模拟人类语言治疗师。
  3. 该方法旨在为语言障碍儿童提供个性化、高效的语言学习支持，并为教育者提供辅助工具。

📝 摘要（中文）

针对存在语言障碍（如发展性语言障碍或移民相关的语言挑战）的学龄前儿童，通常需要加强其表达能力。基于内隐学习原则，语言治疗师（SLT）通常将目标形态结构（如第三人称-s）嵌入到日常互动或游戏式学习活动中。SLT建议教育工作者也这样做。这种方法需要精确的语言知识和实时生成各种形态形式（例如，“爸爸开车上班时戴着这些”）。当教育工作者或家长还必须让孩子们保持参与并管理游戏活动中的轮流时，这项任务变得更具挑战性。在TalBot项目中，我们的多专业团队开发了一个应用程序，其中Furhat会话机器人与孩子们玩单词检索游戏“Alias”，以提高语言技能。我们的应用程序目前使用大型语言模型（LLM）来管理游戏玩法、对话、情感反应和轮流。我们的下一步是进一步利用LLM的能力，以便机器人可以在游戏中生成和传递特定的形态目标。我们假设机器人在这项任务中的表现可能优于人类。这种方法的新颖之处在于，机器人最终可以作为儿童和专业人士的模型和导师，并且在这种情况下使用LLM能力将支持有语言障碍儿童的基本沟通需求。我们的长期目标是创建一个强大的基于LLM的机器人辅助语言学习干预，能够教授不同语言的各种形态结构。

🔬 方法详解

问题定义：论文旨在解决语言障碍学龄前儿童在形态结构学习中面临的挑战。现有方法，如由语言治疗师或教育者主导的干预，需要他们具备专业的语言知识，并能在实时互动中准确生成和传递目标形态结构。这不仅对教育者的语言能力提出了较高要求，也难以保证儿童的学习兴趣和参与度。

核心思路：论文的核心思路是利用大型语言模型（LLM）的能力，构建一个机器人辅助语言学习系统。该系统通过LLM驱动的Furhat机器人，与儿童进行游戏互动，并在互动过程中自动生成和传递特定的形态目标。这种方法旨在降低对人工干预的依赖，提高学习效率和趣味性。

技术框架：TalBot项目的整体架构包含以下几个主要模块：1) Furhat机器人平台，负责物理交互和语音输出；2) 大型语言模型（LLM），用于管理游戏玩法、对话生成、情感反应和轮流控制；3) 单词检索游戏“Alias”，作为语言学习的载体；4) 形态目标生成模块，利用LLM生成包含特定形态结构的句子。整个流程是：儿童与Furhat机器人进行“Alias”游戏，LLM根据游戏进度和儿童表现，生成包含目标形态结构的对话，机器人通过语音输出与儿童互动，从而实现形态结构的学习。

关键创新：该研究的关键创新在于将大型语言模型应用于机器人辅助语言学习，并将其用于生成和传递特定的形态目标。与传统方法相比，该方法能够自动生成多样化的语言材料，降低对人工干预的依赖，并提供个性化的学习体验。此外，该研究还提出机器人可以作为儿童和专业人士的模型和导师，为语言学习提供新的可能性。

关键设计：目前论文尚未提供关键设计细节，例如LLM的具体选择（例如GPT-3, LaMDA等），形态目标生成的具体prompt设计，以及损失函数和网络结构等。这些细节将在后续研究中进一步完善和公开。具体LLM的参数设置和微调策略也未知。

📊 实验亮点

论文提出了利用大型语言模型辅助机器人进行语言学习的新思路，并初步构建了TalBot系统。虽然目前尚未提供具体的实验数据，但该研究的创新性在于将LLM应用于形态结构学习，并提出机器人可以作为儿童和专业人士的模型和导师。未来的研究将重点关注LLM在形态目标生成方面的性能，并与传统方法进行对比。

🎯 应用场景

该研究成果可应用于特殊教育领域，为语言障碍儿童提供个性化的语言学习支持。机器人辅助语言学习系统可以作为语言治疗师和教育者的辅助工具，提高干预效率和覆盖范围。此外，该技术还可扩展到其他语言学习领域，例如外语教学和成人语言培训，具有广阔的应用前景。

📄 摘要（原文）

Preschool children with language vulnerabilities -- such as developmental language disorders or immigration related language challenges -- often require support to strengthen their expressive language skills. Based on the principle of implicit learning, speech-language therapists (SLTs) typically embed target morphological structures (e.g., third person -s) into everyday interactions or game-based learning activities. Educators are recommended by SLTs to do the same. This approach demands precise linguistic knowledge and real-time production of various morphological forms (e.g., "Daddy wears these when he drives to work"). The task becomes even more demanding when educators or parent also must keep children engaged and manage turn-taking in a game-based activity. In the TalBot project our multiprofessional team have developed an application in which the Furhat conversational robot plays the word retrieval game "Alias" with children to improve language skills. Our application currently employs a large language model (LLM) to manage gameplay, dialogue, affective responses, and turn-taking. Our next step is to further leverage the capacity of LLMs so the robot can generate and deliver specific morphological targets during the game. We hypothesize that a robot could outperform humans at this task. Novel aspects of this approach are that the robot could ultimately serve as a model and tutor for both children and professionals and that using LLM capabilities in this context would support basic communication needs for children with language vulnerabilities. Our long-term goal is to create a robust LLM-based Robot-Assisted Language Learning intervention capable of teaching a variety of morphological structures across different languages.