Should Code Models Learn Pedagogically? A Preliminary Evaluation of Curriculum Learning for Real-World Software Engineering Tasks

📄 arXiv: 2502.03806v1 📥 PDF

作者: Kyi Shin Khant, Hong Yi Lin, Patanamon Thongtanunam

分类: cs.SE, cs.LG

发布日期: 2025-02-06

备注: Accepted by the 22nd International Conference on Mining Software Repositories (MSR 25)

💡 一句话要点

探索课程学习在真实软件工程任务中的有效性：CodeT5模型的初步评估

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 课程学习 代码预训练模型 软件工程任务 CodeT5 代码克隆检测

📋 核心要点

  1. 现有代码预训练模型在软件工程任务中表现出色，但通常使用随机数据训练，可能并非最优。
  2. 本研究探索课程学习（CL）在软件工程任务中的应用，利用代码长度和循环复杂度作为难度指标。
  3. 实验结果表明，CodeT5模型在CL下出现灾难性遗忘和捷径学习，性能在早期饱和。

📝 摘要（中文）

基于学习的技术，特别是用于代码的先进预训练模型，已经在代码理解和生成方面展示了能力，解决了各种软件工程（SE）任务。尽管结果很有希望，但当前的训练方法可能无法完全优化模型性能，因为它们通常涉及从随机打乱的训练数据中学习。最近的研究表明，课程学习（CL）可以通过基于合成代码难度的增量学习来提高代码相关任务的性能。然而，CL与SE任务中传统难度度量的有效性在很大程度上仍未被探索。在本研究中，我们探索了两个传统的代码度量：代码长度和循环复杂度来确定难度级别。我们研究了预训练代码模型（CodeT5）如何在CL下学习，通过代码克隆检测和代码摘要任务。我们在CodeXGLUE基准上的实证研究显示了与先前研究相反的结果，其中模型表现出灾难性遗忘和捷径学习的迹象。令人惊讶的是，模型性能仅在训练的第一个四分位数后就饱和，这可能表明模型表示能力的限制和/或任务的固有难度。未来的工作应该进一步探索各种CL策略，使用不同的代码模型，跨越更广泛的SE任务，以获得更全面的理解。

🔬 方法详解

问题定义：论文旨在研究课程学习（Curriculum Learning, CL）在真实软件工程（Software Engineering, SE）任务中的有效性。现有方法通常使用随机打乱的数据训练代码预训练模型，这可能不是最优的学习方式，导致模型无法充分利用数据中的难度信息。

核心思路：论文的核心思路是尝试将课程学习应用于代码预训练模型的训练过程中，通过逐步增加训练数据的难度，引导模型更好地学习代码的内在结构和语义。具体而言，论文使用代码长度和循环复杂度作为代码难度的衡量标准，并据此对训练数据进行排序。

技术框架：论文的技术框架主要包括以下几个步骤：1) 选择预训练代码模型（CodeT5）；2) 选择软件工程任务（代码克隆检测和代码摘要）；3) 定义代码难度指标（代码长度和循环复杂度）；4) 使用课程学习策略，按照难度递增的顺序训练模型；5) 评估模型在测试集上的性能。

关键创新：论文的关键创新在于将传统的课程学习方法应用于代码预训练模型的训练，并探索了代码长度和循环复杂度作为难度指标的有效性。虽然实验结果并不理想，但该研究为未来探索更有效的课程学习策略和难度指标提供了有价值的参考。与现有方法相比，该研究尝试利用数据本身的难度信息来优化模型的训练过程，而不是简单地使用随机数据。

关键设计：论文的关键设计包括：1) 使用CodeT5作为预训练模型，因为它在代码理解和生成任务中表现出色；2) 选择CodeXGLUE benchmark中的代码克隆检测和代码摘要任务进行评估；3) 使用代码长度和循环复杂度作为代码难度的衡量标准，并使用简单的排序方法构建课程；4) 使用标准的训练流程和评估指标，以便与现有方法进行比较。具体的参数设置和损失函数等细节信息在论文中可能没有详细描述，属于CodeT5模型本身的设置。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，在CodeXGLUE基准测试中，CodeT5模型在课程学习策略下，性能并未如预期提升，反而出现了灾难性遗忘和捷径学习的现象。更令人惊讶的是，模型性能在训练的第一个四分位数后就饱和，这暗示了模型可能存在表示能力瓶颈或任务本身难度限制。这些发现与之前的研究结果形成对比，为未来的研究方向提供了新的视角。

🎯 应用场景

该研究探索了课程学习在软件工程领域的应用潜力，为提升代码预训练模型的性能提供了新的思路。潜在应用包括提高代码理解、生成和修复等任务的准确性和效率，从而辅助软件开发人员进行更高效的软件开发和维护。未来的研究可以探索更有效的课程学习策略和难度指标，以进一步提升模型性能。

📄 摘要（原文）

Learning-based techniques, especially advanced pre-trained models for code have demonstrated capabilities in code understanding and generation, solving diverse software engineering (SE) tasks. Despite the promising results, current training approaches may not fully optimize model performance, as they typically involve learning from randomly shuffled training data. Recent work shows that Curriculum Learning (CL) can improve performance on code-related tasks through incremental learning based on the difficulty of synthetic code. Yet, the effectiveness of CL with conventional difficulty measures in SE tasks remains largely unexplored. In this study, we explore two conventional code metrics: code length and cyclomatic complexity to determine the difficulty levels. We investigate how the pre-trained code model (CodeT5) learns under CL, through the tasks of code clone detection and code summarization. Our empirical study on the CodeXGLUE benchmark showed contrasting results to prior studies, where the model exhibited signs of catastrophic forgetting and shortcut learning. Surprisingly, model performance saturates after only the first quartile of training, potentially indicating a limit in the model's representation capacity and/or the task's inherent difficulty. Future work should further explore various CL strategies with different code models across a wider range of SE tasks for a more holistic understanding.