Affordably Fine-tuned LLMs Provide Better Answers to Course-specific MCQs

📄 arXiv: 2501.05891v2 📥 PDF

作者: Bianca Raimondi, Saverio Giallorenzo, Maurizio Gabbrielli

分类: cs.CL, cs.AI

发布日期: 2025-01-10 (更新: 2025-03-05)

备注: The 40th ACM/SIGAPP Symposium On Applied Computing

💡 一句话要点

通过低成本微调的大语言模型能更好地回答课程相关的选择题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 微调 量化 多项选择题 在线教育

📋 核心要点

  1. 大型语言模型在教育领域的应用潜力巨大，但其高昂的计算资源需求限制了实际应用。
  2. 论文提出通过使用课程教材对小型LLM进行微调，并结合量化技术，降低资源消耗。
  3. 实验结果表明，微调后的小型模型在回答课程相关选择题时，性能优于大型通用模型。

📝 摘要（中文）

本文研究了大型语言模型(LLMs)在教育领域中生成类人文本的能力，以及它们如何提高学习和教学效率。通过研究LLMs在硬件约束和优化技术下回答多项选择题(MCQs)的能力，探讨了这些模型对教育者和学生的经济性。具体而言，使用通用预训练的LLMs（LLaMA-2的7B、13B和70B变体）来回答来自编程语言(PL)课程的162道本科水平的MCQs。该MCQ数据集是本文的贡献，并已公开。研究重点在于，使用现成材料（课程教科书的部分内容）进行微调和量化（以减少资源使用）等不同因素如何改变回答的准确性。主要结论是，基于教科书进行微调的小型模型优于通用的大型模型（其预训练需要大量资源），使得使用LLMs回答MCQs在资源和材料方面都具有经济性。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在教育领域应用时，资源消耗过高的问题。现有方法，即直接使用通用预训练的LLMs，需要大量的计算资源，使得教育者和学生难以负担。此外，通用LLMs在特定课程知识方面的表现可能不如人意。

核心思路：论文的核心思路是利用课程教材对小型LLMs进行微调，使其专注于特定领域的知识。同时，采用量化技术来降低模型的资源占用，从而在保证性能的同时，降低使用成本。这样，即使是资源有限的用户也能使用LLMs来辅助教学和学习。

技术框架：整体流程包括以下几个步骤：1) 收集编程语言课程的多项选择题（MCQs）数据集；2) 选择预训练的LLMs（LLaMA-2的7B、13B和70B变体）；3) 使用课程教材对LLMs进行微调；4) 对微调后的模型进行量化；5) 使用MCQs数据集评估模型的性能。

关键创新：最重要的技术创新点在于，证明了使用少量特定领域数据（课程教材）对小型LLMs进行微调，可以使其在特定任务（回答课程相关MCQs）上超越大型通用LLMs。这种方法降低了对大规模预训练数据的依赖，使得LLMs的应用更加经济高效。

关键设计：论文的关键设计包括：1) MCQ数据集的构建，确保了评估的客观性和针对性；2) 基于课程教材的微调策略，使得模型能够学习到特定领域的知识；3) 量化技术的使用，降低了模型的资源占用。具体的参数设置和损失函数等细节在论文中没有详细展开，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，经过课程教材微调的小型LLaMA-2模型（例如7B变体）在回答编程语言课程的MCQs时，性能优于未经微调的更大的LLaMA-2模型（例如70B变体）。这表明，通过针对特定领域进行微调，可以显著提高LLMs在特定任务上的性能，同时降低资源消耗。

🎯 应用场景

该研究成果可应用于在线教育平台、智能辅导系统和个性化学习工具。通过低成本微调的LLMs，可以为学生提供定制化的学习资源和练习题，帮助他们更好地掌握课程知识。此外，教师也可以利用这些模型来自动生成试题和评估学生表现，从而提高教学效率。

📄 摘要（原文）

In education, the capability of generating human-like text of Large Language Models (LLMs) inspired work on how they can increase the efficiency of learning and teaching. We study the affordability of these models for educators and students by investigating how LLMs answer multiple-choice questions (MCQs) with respect to hardware constraints and refinement techniques. We explore this space by using generic pre-trained LLMs (the 7B, 13B, and 70B variants of LLaMA-2) to answer 162 undergraduate-level MCQs from a course on Programming Languages (PL) -- the MCQ dataset is a contribution of this work, which we make publicly available. Specifically, we dissect how different factors, such as using readily-available material -- (parts of) the course's textbook -- for fine-tuning and quantisation (to decrease resource usage) can change the accuracy of the responses. The main takeaway is that smaller textbook-based fine-tuned models outperform generic larger ones (whose pre-training requires conspicuous resources), making the usage of LLMs for answering MCQs resource- and material-wise affordable.