CITING: Large Language Models Create Curriculum for Instruction Tuning

📄 arXiv: 2310.02527v1 📥 PDF

作者: Tao Feng, Zifeng Wang, Jimeng Sun

分类: cs.CL, cs.AI

发布日期: 2023-10-04

💡 一句话要点

提出CITING方法以解决大语言模型指令调优中的人工瓶颈问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 指令调优 人工智能 自我修正 教育技术 课程生成 机器学习

📋 核心要点

  1. 现有方法在大语言模型的指令调优中依赖人工构建数据集，导致效率低下和可扩展性差。
  2. 本文提出的CITING方法通过教师LLM生成课程标准，指导学生LLM进行自我修正，从而减少人工干预。
  3. 实验结果显示，CITING在多个数据集上显著提升了模型的表达能力和深度，平均胜率达到79.4%。

📝 摘要（中文）

近年来，大语言模型（LLMs）的进展得益于指令调优和人类对齐的结合。然而，手动构建指令数据集和进行人类对齐成为了LLMs发展的瓶颈。本文提出了一种利用AI模型作为教师来训练学生LLMs的方法，称为课程指令调优（CITING）。该方法分为两个主要步骤：首先，教师LLM为不同类型问题的答案评估制定标准；其次，学生LLM根据标准进行自我修正。通过迭代执行这一过程，CITING展示了在四个数据集上的显著改进，尤其在GPT-4评估中表现出79.4%的平均胜率，超越了多种现有基线。

🔬 方法详解

问题定义：本文旨在解决大语言模型在指令调优过程中对人工数据集和人类对齐的依赖，现有方法在规模化时面临瓶颈。

核心思路：CITING方法通过教师LLM生成评估标准，模拟人类学生的学习过程，使学生LLM能够自主学习和修正，减少人工干预。

技术框架：CITING的整体流程包括两个主要模块：教师LLM生成评估标准，学生LLM根据这些标准进行自我修正，并通过迭代过程不断优化。

关键创新：CITING的创新在于将教师LLM作为知识传递者，形成一种新的学习机制，与传统的人工数据集构建方法本质上不同。

关键设计：在设计中，教师LLM的标准制定过程和学生LLM的自我修正机制是关键，具体的损失函数和网络结构细节在实验中进行了优化，以提升学习效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CITING方法在四个数据集上的实验结果显示，模型在GPT-4评估中表现出79.4%的平均胜率，分别超越了SFT（79.4%）、RLHF（73.4%）、RRHF（78.1%）和RAFT（76.3%）等多种基线，展现了显著的性能提升。

🎯 应用场景

CITING方法具有广泛的应用潜力，特别是在教育技术、自动化内容生成和智能辅导系统等领域。通过减少对人工数据的依赖，该方法可以加速大语言模型的开发和应用，提升其在实际场景中的表现和适应性。

📄 摘要（原文）

The recent advancement of large language models (LLMs) has been achieved through a combo of instruction tuning and human alignment. However, building manually crafted instruction datasets and performing human alignment become the bottleneck for scaling the development of LLMs. In this paper, we exploit the idea of leveraging AI models in lieu of humans as the teacher to train student LLMs. Our method is inspired by how human students refine their writing skills by following the rubrics and learning from the revisions offered by their tutors. Specifically, we employ a teacher LLM to create a curriculum for instruction tuning of the student LLM, namely Curriculum Instruction TunING (CITING). It encompasses two main steps: (1) the teacher LLM crafts the rubrics for evaluating the answers corresponding to various types of questions, and (2) the student LLM learns to follow the rubrics and perform self-correction from the revision made by the teacher. We further iteratively carry out it to embody the procedure of CITING. We compare CITING to a series of state-of-the-art baselines on four datasets. Our method demonstrates strong improvement in terms of articulate, in-depth, and comprehensive by GPT-4 evaluation. Specifically, it achieves an average winning rate of 79.4% over SFT, 73.4% over RLHF, 78.1% over RRHF, and 76.3% over RAFT, respectively.