Which Forms of Caregiver Feedback Support Grammar Learning? A Reinforcement-Learning Study of Child-Like Language Models
作者: Jing Liu, Marianne Schweitzer, Abdellah Fourtassi
分类: cs.CL
发布日期: 2026-09-08
💡 一句话要点
提出基于强化学习的反馈机制以支持儿童语法学习
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 儿童语言学习 强化学习 反馈机制 语法发展 自然语言处理 模型微调 教育技术
📋 核心要点
- 现有方法难以在自然数据中分离不同形式的照顾者反馈对儿童语法学习的影响。
- 本文通过使用类儿童语言模型和强化学习，探讨不同反馈形式对语法发展的支持作用。
- 实验结果表明，结构对齐反馈显著提高语法性，而其他反馈形式的效果较为有限，提供了新的理解视角。
📝 摘要（中文）
社交互动在儿童语言学习中至关重要，但不同形式的照顾者反馈效果难以在自然数据中分离。本文使用类儿童语言模型作为受控学习者，测试哪些反馈形式支持语法发展。小型GPT-2风格模型在儿童导向语言上进行预训练，然后通过强化学习进行微调，使用训练的奖励模型捕捉四种反馈类型：交际反馈、结构对齐、语义偶然性和情感反馈。奖励微调在最小对比评估中收益有限，但在自由生成中效果更明显。结构对齐在语法性上产生了最强的改善，提供了支持语法学习的新颖机制解释。交际反馈带来适度收益，而语义偶然性和情感反馈未能改善语法性，但可能支持语言学习的其他方面。这些结果表明，不同形式的照顾者反馈对语言学习有互补贡献。
🔬 方法详解
问题定义：本文旨在探讨不同形式的照顾者反馈如何影响儿童的语法学习。现有方法在自然数据中难以有效分离这些反馈的具体效果，限制了对其影响机制的理解。
核心思路：通过使用类儿童语言模型作为受控学习者，结合强化学习和奖励模型，系统性地评估四种反馈类型对语法学习的支持作用。这种设计允许在可控环境中观察反馈的具体影响。
技术框架：整体流程包括预训练和微调两个阶段。首先，模型在儿童导向语言数据上进行预训练；然后，使用强化学习对模型进行微调，奖励模型基于四种反馈类型进行训练。
关键创新：最重要的创新在于通过结构对齐反馈显著提升语法性，提供了新的机制解释，与传统方法相比，强调了反馈形式的多样性及其对学习效果的不同影响。
关键设计：在模型设计中，采用小型GPT-2结构，损失函数结合了语法性评估和反馈类型的奖励机制，确保模型能够有效学习并适应不同的反馈形式。
🖼️ 关键图片
📊 实验亮点
实验结果显示，结构对齐反馈在语法性评估中取得了显著提升，相较于基线模型，语法性改善幅度最大。交际反馈也带来适度的提升，而语义偶然性和情感反馈未能显著改善语法性，提示其可能在其他语言学习方面发挥作用。
🎯 应用场景
该研究的潜在应用领域包括教育技术、语言学习应用和儿童语言发展研究。通过理解不同反馈形式的作用，可以为开发更有效的语言学习工具提供理论支持，促进儿童语言能力的提升。
📄 摘要（原文）
Social interaction is central to children's language learning, but the effects of different forms of caregiver feedback are difficult to isolate in naturalistic data. We use child-like language models as controlled learners to test which forms of feedback support grammatical development. Small GPT-2-style models are pretrained on child-directed language from CHILDES, then fine-tuned with reinforcement learning using reward models trained to capture four feedback types: communicative feedback, structural alignment, semantic contingency, and affective feedback. Reward fine-tuning yields limited gains on minimal-pair evaluations, but clearer effects in free generation. Structural alignment produces the strongest improvements in grammaticality, providing a novel, plausible mechanistic account of how this feedback can support grammar learning. Communicative feedback yields more moderate gains. In contrast, semantic contingency and affective feedback do not improve grammaticality, although further analyses suggest that they may support other aspects of language learning beyond grammar. These results suggest that different forms of caregiver feedback make complementary contributions to language learning.