Software Metadata Classification based on Generative Artificial Intelligence

📄 arXiv: 2310.13006v1 📥 PDF

作者: Seetharam Killivalavan, Durairaj Thenmozhi

分类: cs.SE, cs.AI, cs.IR, cs.LG

发布日期: 2023-10-14

备注: FIRE Track: Information Retrieval in Software Engineering (IRSE), 9 pages

💡 一句话要点

基于生成式人工智能的二进制代码注释质量分类方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生成式人工智能 代码注释 机器学习 支持向量机 人工神经网络 软件质量保证 数据增强

📋 核心要点

  1. 现有的代码注释质量分类方法在准确性和实用性上存在不足，难以满足软件开发的需求。
  2. 本文提出通过生成式人工智能生成新的代码-注释对，以增强现有数据集，从而提升分类模型的性能。
  3. 实验结果显示，SVM模型的精确度提高了6%，ANN模型的召回率提高了1.5%，验证了方法的有效性。

📝 摘要（中文）

本文提出了一种新颖的方法，通过生成式人工智能（AI）提升二进制代码注释质量分类模型的性能。利用OpenAI API，生成了1239对新的代码-注释对，并将其标记为“有用”或“无用”，并与现有的9048对C语言注释数据集整合。采用先进的大型语言模型架构，生成的数据集在模型准确性上表现出显著提升。具体而言，支持向量机（SVM）模型的精确度提高了6%，从0.79上升至0.85；人工神经网络（ANN）模型的召回率提高了1.5%，从0.731上升至0.746。研究结果表明，生成式AI在增强代码注释质量分类模型方面具有潜力，且该方法在软件开发和质量保证领域具有广泛的适用性。

🔬 方法详解

问题定义：本文旨在解决现有代码注释质量分类模型在准确性和实用性上的不足，尤其是在数据集规模和多样性方面的挑战。

核心思路：通过生成式人工智能生成新的代码-注释对，丰富数据集，从而提升模型的分类性能。该方法利用OpenAI API生成数据，确保生成内容的相关性和多样性。

技术框架：整体架构包括数据生成模块、数据标注模块和模型训练模块。首先，通过OpenAI API生成新的代码-注释对，然后对其进行标注，最后将生成的数据与现有数据集结合，训练分类模型。

关键创新：最重要的创新在于利用生成式AI技术生成新的训练数据，这一方法显著提升了模型的分类性能，与传统方法相比，解决了数据稀缺的问题。

关键设计：在模型训练中，采用支持向量机（SVM）和人工神经网络（ANN）作为基线模型，设置了适当的超参数，并使用交叉验证来评估模型性能。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，SVM模型的精确度从0.79提升至0.85，增加了6%；ANN模型的召回率从0.731提升至0.746，增加了1.5%。这些结果表明，生成式AI在提升代码注释质量分类模型的准确性方面具有显著效果。

🎯 应用场景

该研究的潜在应用领域包括软件开发、代码审查和质量保证等。通过提升代码注释的质量，能够有效提高软件的可维护性和可读性，进而提升开发效率和软件质量。未来，该方法可扩展至其他编程语言和不同类型的代码注释任务。

📄 摘要（原文）

This paper presents a novel approach to enhance the performance of binary code comment quality classification models through the application of Generative Artificial Intelligence (AI). By leveraging the OpenAI API, a dataset comprising 1239 newly generated code-comment pairs, extracted from various GitHub repositories and open-source projects, has been labelled as "Useful" or "Not Useful", and integrated into the existing corpus of 9048 pairs in the C programming language. Employing a cutting-edge Large Language Model Architecture, the generated dataset demonstrates notable improvements in model accuracy. Specifically, when incorporated into the Support Vector Machine (SVM) model, a 6% increase in precision is observed, rising from 0.79 to 0.85. Additionally, the Artificial Neural Network (ANN) model exhibits a 1.5% increase in recall, climbing from 0.731 to 0.746. This paper sheds light on the potential of Generative AI in augmenting code comment quality classification models. The results affirm the effectiveness of this methodology, indicating its applicability in broader contexts within software development and quality assurance domains. The findings underscore the significance of integrating generative techniques to advance the accuracy and efficacy of machine learning models in practical software engineering scenarios.