LearnLM: Improving Gemini for Learning
作者: LearnLM Team, Abhinit Modi, Aditya Srikanth Veerubhotla, Aliya Rysbek, Andrea Huber, Brett Wiltshire, Brian Veprek, Daniel Gillick, Daniel Kasenberg, Derek Ahmed, Irina Jurenka, James Cohan, Jennifer She, Julia Wilkowski, Kaiz Alarakyia, Kevin R. McKee, Lisa Wang, Markus Kunesch, Mike Schaekermann, Miruna Pîslar, Nikhil Joshi, Parsa Mahmoudieh, Paul Jhun, Sara Wiltberger, Shakir Mohamed, Shashank Agarwal, Shubham Milind Phal, Sun Jae Lee, Theofilos Strinopoulos, Wei-Jen Ko, Amy Wang, Ankit Anand, Avishkar Bhoopchand, Dan Wild, Divya Pandya, Filip Bar, Garth Graham, Holger Winnemoeller, Mahvish Nagda, Prateek Kolhar, Renee Schneider, Shaojian Zhu, Stephanie Chan, Steve Yadlowsky, Viknesh Sounderajah, Yannis Assael
分类: cs.CY, cs.AI, cs.LG
发布日期: 2024-12-21 (更新: 2025-08-22)
💡 一句话要点
LearnLM：通过教学指令跟随改进Gemini模型，提升教育场景下的AI表现
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 教学指令跟随 生成式AI 教育应用 Gemini模型 个性化学习
📋 核心要点
- 现有生成式AI在教育应用中缺乏有效的人机互动和个性化教学策略。
- 提出“教学指令跟随”框架，通过指令引导模型学习特定的教学行为和属性。
- LearnLM模型在多个教育场景中显著优于GPT-4o、Claude 3.5 Sonnet和Gemini 1.5 Pro。
📝 摘要（中文）
现有的生成式AI系统默认倾向于呈现信息，而不是像人类导师那样与用户互动以促进学习。为了解决这些系统在教育领域的广泛应用需求，我们将注入教学行为的挑战重新定义为“教学指令跟随”问题。在这种框架下，训练和评估样本包含系统级别的指令，描述了后续模型交互中存在或期望的特定教学属性。这种框架避免了模型受限于任何特定的教学定义，而是允许教师或开发者指定期望的模型行为。通过将教学数据添加到后训练混合中，可以改进Gemini模型，并扩展其能力。实验表明，通过教学指令跟随训练得到的LearnLM模型在各种学习场景中显著优于专家，平均偏好强度比GPT-4o高+31%，比Claude 3.5 Sonnet高+11%，比LearnLM所基于的Gemini 1.5 Pro模型高+13%。
🔬 方法详解
问题定义：现有的大语言模型在教育场景中，通常只是简单地呈现信息，缺乏像人类教师一样引导学生学习的能力。它们难以根据学生的具体情况调整教学策略，也无法有效地进行互动和反馈。因此，如何让AI模型具备更强的教学能力，成为一个重要的研究问题。
核心思路：论文的核心思路是将教学行为建模成一个“教学指令跟随”的任务。这意味着模型需要理解并执行指令，这些指令描述了期望的教学风格、策略和目标。通过这种方式，模型可以学习到各种不同的教学方法，并根据具体情况进行选择和应用。这种方法避免了对教学行为进行硬编码，而是让模型通过数据学习，从而具有更强的灵活性和适应性。
技术框架：LearnLM的训练框架主要包括以下几个步骤：首先，构建一个包含大量教学指令和对应行为的数据集。这些指令可以涵盖各种教学场景，例如讲解概念、回答问题、提供反馈等。然后，使用这些数据对Gemini模型进行微调，使其能够理解并执行教学指令。在训练过程中，可以使用各种损失函数来优化模型的性能，例如交叉熵损失、对比损失等。最后，对训练好的模型进行评估，以验证其教学能力。
关键创新：该论文的关键创新在于将教学行为建模成一个指令跟随的任务，并提出了相应的训练方法。这种方法具有以下几个优点：首先，它避免了对教学行为进行硬编码，从而具有更强的灵活性和适应性。其次，它允许教师或开发者根据自己的需求定制模型的教学风格。第三，它可以利用大量的数据来训练模型，从而提高模型的教学能力。
关键设计：论文中没有详细描述关键的参数设置、损失函数、网络结构等技术细节。这些细节可能因具体的实现而异。但是，可以推测，在训练过程中，可能会使用一些常见的技术，例如学习率衰减、dropout、权重衰减等。此外，为了提高模型的泛化能力，可能会使用一些数据增强技术，例如随机裁剪、随机旋转等。具体的损失函数和网络结构的选择，可能需要根据具体的实验结果进行调整。
🖼️ 关键图片
📊 实验亮点
实验结果表明，LearnLM在各种学习场景中显著优于其他模型。具体来说，LearnLM的平均偏好强度比GPT-4o高+31%，比Claude 3.5 Sonnet高+11%，比LearnLM所基于的Gemini 1.5 Pro模型高+13%。这些结果表明，通过教学指令跟随训练，可以显著提高AI模型的教学能力。
🎯 应用场景
LearnLM具有广泛的应用前景，可以用于在线教育、个性化辅导、智能助教等领域。它可以根据学生的学习情况提供个性化的学习建议和反馈，帮助学生更好地掌握知识。此外，LearnLM还可以用于教师培训，帮助教师提高教学水平。未来，LearnLM有望成为教育领域的重要工具。
📄 摘要（原文）
Today's generative AI systems are tuned to present information by default, rather than engage users in service of learning as a human tutor would. To address the wide range of potential education use cases for these systems, we reframe the challenge of injecting pedagogical behavior as one of \textit{pedagogical instruction following}, where training and evaluation examples include system-level instructions describing the specific pedagogy attributes present or desired in subsequent model turns. This framing avoids committing our models to any particular definition of pedagogy, and instead allows teachers or developers to specify desired model behavior. It also clears a path to improving Gemini models for learning -- by enabling the addition of our pedagogical data to post-training mixtures -- alongside their rapidly expanding set of capabilities. Both represent important changes from our initial tech report. We show how training with pedagogical instruction following produces a LearnLM model (available on Google AI Studio) that experts substantially prefer across a diverse set of learning scenarios, with average preference strengths of +31\% over GPT-4o, +11\% over Claude 3.5 Sonnet, and +13\% over the Gemini 1.5 Pro model on which LearnLM was based.