Teaching According to Talents! Instruction Tuning LLMs with Competence-Aware Curriculum Learning

📄 arXiv: 2509.13790v2 📥 PDF

作者: Yangning Li, Tingwei Lu, Yinghui Li, Yankai Chen, Wei-Chieh Huang, Wenhao Jiang, Hui Wang, Hai-Tao Zheng, Philip S. Yu

分类: cs.CL, cs.AI

发布日期: 2025-09-17 (更新: 2025-11-03)

备注: EMNLP 2025 Findings

💡 一句话要点

提出CAMPUS框架，通过能力感知课程学习提升指令调优大语言模型性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 指令调优 课程学习 大语言模型 能力感知 动态调度

📋 核心要点

  1. 现有指令调优的课程学习方法依赖静态难度指标，无法适应模型训练过程中的能力变化，导致学习效果受限。
  2. CAMPUS框架通过动态选择子课程、能力感知的课程表调整和多难度调度，实现更有效的指令调优。
  3. 实验结果表明，CAMPUS在指令调优任务上优于其他先进基线方法，证明了其有效性。

📝 摘要（中文）

本文提出了一种名为CAMPUS（Competence-Aware Multi-Perspective cUrriculum inStruction tuning）的能力感知多视角课程指令调优框架，旨在提升指令数据集上训练的大语言模型（LLMs）的最终性能。现有的课程学习方法在指令调优中展现出初步效果，但由于其依赖于静态的启发式难度指标，存在课程刚性的问题。这些方法无法适应模型在训练过程中不断变化的能力，导致学习轨迹固定且可能并非最优。CAMPUS通过动态选择子课程、能力感知的课程表调整以及多难度调度来解决这一问题。大量实验证明，与最先进的指令调优基线方法相比，CAMPUS具有卓越的性能。

🔬 方法详解

问题定义：论文旨在解决高效指令调优中，现有课程学习方法存在的课程刚性问题。现有方法依赖静态的难度指标，无法根据模型在训练过程中能力的变化动态调整学习策略，导致学习效率和最终性能受限。

核心思路：论文的核心思路是提出一种能力感知的课程学习框架，该框架能够根据模型在训练过程中的能力变化，动态调整课程难度和学习进度，从而优化指令调优过程。通过这种方式，模型可以更有效地学习指令，并提升最终的性能。

技术框架：CAMPUS框架包含以下几个主要模块：1) 子课程动态选择：根据模型在不同任务上的表现，动态选择合适的子课程进行学习。2) 能力感知的课程表调整：根据模型的能力变化，调整课程的难度和进度，确保模型始终处于最佳学习状态。3) 多难度调度：同时考虑多个难度级别的任务，以平衡学习的挑战性和稳定性。整体流程是，首先根据模型的能力评估结果，选择合适的子课程和难度级别，然后使用选定的数据进行训练，最后根据训练结果更新模型的能力评估。

关键创新：CAMPUS的关键创新在于引入了能力感知的概念，并将其应用于课程学习中。与现有方法不同，CAMPUS能够根据模型的能力动态调整学习策略，从而实现更有效的指令调优。这种能力感知的学习方式能够更好地适应模型在训练过程中的变化，并提升最终的性能。

关键设计：CAMPUS的关键设计包括：1) 能力评估指标：选择合适的指标来评估模型在不同任务上的能力。2) 子课程选择策略：设计有效的策略来选择合适的子课程进行学习。3) 课程表调整算法：开发算法来根据模型的能力变化动态调整课程的难度和进度。4) 多难度调度策略：设计策略来平衡不同难度级别任务的学习。

📊 实验亮点

实验结果表明，CAMPUS框架在指令调优任务上显著优于其他先进的基线方法。具体的性能提升数据在论文中给出，证明了CAMPUS在提升大语言模型性能方面的有效性。CAMPUS通过动态调整学习策略，更好地适应了模型在训练过程中的变化，从而实现了更优的学习效果。

🎯 应用场景

该研究成果可应用于各种需要指令调优的大语言模型，例如智能助手、对话系统、文本生成等。通过CAMPUS框架，可以更有效地利用有限的指令数据，提升模型的性能和泛化能力，从而在实际应用中提供更好的用户体验。未来，该方法可以进一步扩展到其他类型的模型和任务中。

📄 摘要（原文）

Efficient instruction tuning aims to enhance the ultimate performance of large language models (LLMs) trained on a given instruction dataset. Curriculum learning as a typical data organization strategy has shown preliminary effectiveness in instruction tuning. However, current curriculum tuning methods suffer from the curriculum rigidity, since they rely solely on static heuristic difficulty metrics. These methods fail to adapt to the evolving capabilities of models during training, resulting in a fixed and potentially sub-optimal learning trajectory. To address the issue, Competence-Aware Multi-Perspective cUrriculum inStruction tuning framework termed CAMPUS is proposed. CAMPUS offers several advantages: (1) Dynamic selection for sub-curriculum. (2) Competency-aware adjustment to the curriculum schedule. (3) Multiple difficulty-based scheduling. Extensive experiments prove the superior performance of CAMPUS, compared to other state-of-the-art baselines for efficient instruction tuning.