A Psychology-based Unified Dynamic Framework for Curriculum Learning

📄 arXiv: 2408.05326v2 📥 PDF

作者: Guangyu Meng, Qingkai Zeng, John P. Lalor, Hong Yu

分类: cs.CL

发布日期: 2024-08-09 (更新: 2025-11-25)

备注: Accepted for publication in Computational Linguistics. This is a pre-MIT Press publication version. Code available at https://github.com/nd-ball/cl-irt

💡 一句话要点

提出基于心理学的统一动态课程学习框架PUDF，提升大语言模型微调效果。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 课程学习 项目反应理论 人工众包 难度估计 动态数据选择

📋 核心要点

  1. 传统课程学习方法在定义数据难度和确定每步训练数据量方面存在挑战。
  2. PUDF框架利用项目反应理论和人工众包，实现了全局且可解释的难度量化。
  3. 动态数据选择策略DDS-MAE基于模型能力估计，自适应调整训练数据量，加速收敛。

📝 摘要（中文）

本文提出了一种基于心理学的统一动态课程学习框架（PUDF），旨在解决课程学习（CL）中数据难度定义和数据量选择两大挑战。PUDF借鉴心理测量学，利用项目反应理论（IRT）对人工众包（AC）的反馈进行分析，从而量化训练数据的难度，得到全局且可解释的难度值。此外，基于IRT，提出了一种动态数据选择策略（DDS-MAE），通过模型能力估计来动态调整训练数据量。由于难度标签和模型能力估计都基于IRT，因此具有可比性，有助于数据选择和加速收敛。实验结果表明，使用PUDF微调预训练大语言模型在多个基准数据集上实现了更高的准确率和更快的收敛速度，优于标准微调和现有CL方法。消融研究和下游分析进一步验证了PUDF的有效性。

🔬 方法详解

问题定义：课程学习（CL）旨在模仿人类学习过程，从易到难地呈现训练数据。然而，如何准确定义数据的难度，以及如何在训练过程中动态调整数据量，是现有CL方法面临的关键问题。现有方法通常依赖于模型自身的表现来估计数据难度，导致难度评估具有模型依赖性，缺乏全局性和可解释性。此外，数据量的选择往往是静态的或基于启发式的，缺乏理论依据。

核心思路：PUDF的核心思路是借鉴心理测量学中的项目反应理论（IRT），将数据难度视为一个与模型无关的固有属性。通过人工众包（AC）模拟人类对数据的反应，利用IRT对这些反应进行建模，从而得到全局且可解释的难度值。同时，基于IRT估计模型的能力，并根据模型能力动态调整训练数据量，实现数据难度与模型能力的匹配。

技术框架：PUDF框架主要包含两个阶段：难度标注阶段和动态数据选择阶段。在难度标注阶段，首先利用人工众包获取数据样本的反应数据，然后利用IRT对这些数据进行建模，得到每个样本的难度值。在动态数据选择阶段，首先利用IRT估计模型在当前训练阶段的能力，然后根据模型能力选择合适的难度范围的数据进行训练。整个框架是统一的，因为难度标注和模型能力估计都基于相同的理论（IRT）。

关键创新：PUDF的关键创新在于将心理测量学中的项目反应理论引入到课程学习中，实现了数据难度的全局量化和模型能力的动态估计。与现有方法相比，PUDF的难度评估是模型无关的，具有更好的可解释性和泛化性。此外，PUDF的动态数据选择策略能够根据模型能力自适应地调整训练数据量，从而加速模型收敛。

关键设计：在难度标注阶段，使用3PL模型（Three-Parameter Logistic Model）进行IRT建模，该模型考虑了区分度、难度和猜测度三个参数。在动态数据选择阶段，使用模型能力估计值作为数据选择的阈值，选择难度低于该阈值的数据进行训练。损失函数采用标准的交叉熵损失函数。人工众包的数量和质量控制是影响难度标注的关键因素。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用PUDF微调预训练大语言模型在多个基准数据集上取得了显著的性能提升。例如，在文本分类任务中，PUDF相比于标准微调方法，准确率提升了2-5个百分点，并且收敛速度更快。与现有的课程学习方法相比，PUDF也取得了更好的效果，证明了其有效性。

🎯 应用场景

PUDF框架可广泛应用于各种机器学习任务，尤其是在数据标注成本高昂或数据质量参差不齐的场景下。例如，在自然语言处理领域，可以用于提升文本分类、情感分析等任务的性能；在计算机视觉领域，可以用于提升图像识别、目标检测等任务的性能。此外，PUDF还可以应用于教育领域，用于个性化学习路径的设计。

📄 摘要（原文）

Directly learning from examples of varying difficulty levels is often challenging for both humans and machine learning models. A more effective strategy involves exposing learners to examples in a progressive order from easy to difficult. Curriculum Learning (CL) has been proposed to implement this strategy in machine learning model training. However, two key challenges persist in CL framework design: defining the difficulty of training data and determining the appropriate amount of data to input at each training step. Drawing inspiration from psychometrics, this paper presents a Psychology-based Unified Dynamic Framework for Curriculum Learning (PUDF). We quantify the difficulty of training data by applying Item Response Theory (IRT) to responses from Artificial Crowds (AC). This theory-driven IRT-AC approach leads to global (i.e., model-independent) and interpretable difficulty values. Leveraging IRT, we propose a training strategy, Dynamic Data Selection via Model Ability Estimation (DDS-MAE), to schedule the appropriate amount of data during model training. Since our difficulty labeling and model ability estimation are based on a consistent theory, namely IRT, their values are comparable within the same scope, potentially leading to aligned training data selection and faster convergence compared to the other CL methods. Experimental results demonstrate that fine-tuning pre-trained large language models with PUDF leads to higher accuracy and faster convergence on a suite of benchmark datasets compared to standard fine-tuning and state-of-the-art CL methods. Ablation studies and downstream analyses further validate the impact of PUDF for CL.