Finetuning an LLM on Contextual Knowledge of Classics for Q&A

📄 arXiv: 2312.07848v1 📥 PDF

作者: Shane Storm Strachan

分类: cs.CL, cs.AI

发布日期: 2023-12-13

备注: 10 pages

💡 一句话要点

通过微调LLM在经典著作的语境知识上进行问答

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 微调 经典著作 知识问答 语境理解

📋 核心要点

  1. 现有LLM在经典著作等专业领域应用不足，无法满足特定学习和研究需求。
  2. 通过微调LLM，使其具备经典著作的语境知识，并赋予其一致的“个性”。
  3. 实验表明，微调后的3.55亿参数模型在处理各种输入和提示时表现超出预期。

📝 摘要（中文）

大型语言模型（LLM）的开源发布为人工智能工具的交互创造了诸多可能性，尤其是在学习和知识传播方面。然而，这些模型在经典著作等专业领域的效用在很大程度上仍未被探索。本项目旨在通过微调LLM，使其能够满足学习者和专业人士的特定需求，从而将经典著作的知识与人工智能的能力相结合。本项目的目标是开发一个不仅能准确再现语境知识，而且能展现一致的“个性”——以及确实具有一致的得体性——的LLM，以吸引具有不同知识水平的广大受众。该项目的大部分工作都致力于完善数据集，遵循“垃圾进，垃圾出”的原则，以确保模型在给定提示（陈述、问题或单个词）时生成相关的、有用的和创造性的响应。经过训练和评估，我的模型处理各种不同类型输入和提示的能力超出了对一个3.55亿参数模型的预期，尽管它偶尔会出现幻觉（尤其是在设置较高温度时），特别是在其关于历史事件或自身身份的断言中，这使得它看起来有些反复无常，因此需要进行持续的微调。

🔬 方法详解

问题定义：论文旨在解决LLM在经典著作领域知识问答能力不足的问题。现有通用LLM缺乏对经典著作的专业知识和语境理解，无法提供准确、深入的解答，并且可能产生不相关或错误的回复。

核心思路：论文的核心思路是通过微调一个预训练的LLM，使其能够掌握经典著作的语境知识，并具备一定的“个性”，从而能够更好地服务于经典著作的学习者和研究者。这种方法旨在利用LLM强大的语言建模能力，并将其与特定领域的知识相结合。

技术框架：该项目主要包含以下几个阶段：1) 数据集构建：收集和整理经典著作相关的文本数据，并进行清洗和标注，确保数据的质量和相关性。2) 模型选择：选择一个合适的预训练LLM作为基础模型，例如参数量较小的模型，以便于训练和部署。3) 模型微调：使用构建好的数据集对LLM进行微调，使其能够学习到经典著作的语境知识。4) 模型评估：使用一系列指标评估微调后的模型在知识问答任务上的性能，并进行分析和改进。

关键创新：该论文的关键创新在于将LLM应用于经典著作领域，并尝试赋予模型一定的“个性”，使其能够更好地与用户进行交互。此外，该论文还强调了数据集质量的重要性，并致力于构建一个高质量的经典著作数据集。

关键设计：论文中没有明确给出关键参数设置、损失函数、网络结构等技术细节。但可以推测，微调过程中会使用交叉熵损失函数，并可能采用一些正则化技术来防止过拟合。温度参数的设置会影响模型生成文本的多样性，较高的温度可能会导致模型产生幻觉。

📊 实验亮点

该研究表明，即使是参数量较小的LLM，通过在特定领域的数据集上进行微调，也能在特定任务上取得超出预期的性能。实验结果表明，微调后的3.55亿参数模型在处理各种输入和提示时表现良好，尽管仍存在幻觉问题，但整体性能令人满意。

🎯 应用场景

该研究成果可应用于智能教育、文化传承、学术研究等领域。例如，可以开发智能辅导系统，帮助学生学习经典著作；可以构建智能问答系统，为研究者提供便捷的知识查询服务；还可以用于创作具有经典风格的文学作品。未来，该技术有望促进经典文化的传播和发展。

📄 摘要（原文）

The open-source publishing of large language models (LLMs) has created many possibilities for how anyone who understands language and has access to a computer can interact with significant tools of artificial intelligence, particularly in the context of learning and knowledge dissemination. However, the utility of these models in specialized fields like Classics is still largely unexplored. This project is an attempt to merge the knowledge of Classics with the capabilities of artificial intelligence by finetuning an LLM to cater to the specific needs of learners and professionals. The goal of this project is to develop an LLM that not only reproduces contextual knowledge accurately but also exhibits a consistent "personality" - and, indeed, has consistent propriety - to appeal to a diverse audience who possess differing levels of knowledge. A significant portion of this project was dedicated to refining the dataset, following the principle of "garbage in, garbage out," to ensure the model generates relevant, useful, and creative responses when given a prompt (a statement, question, or single word). After training and evaluation, my model's ability to handle a vast array of different types of inputs and prompting exceeded expectations for a 355M parameter model, though its occasional hallucinations (especially when set with a high temperature), particularly in its assertions about historical events or its own identity, make it seem somewhat capricious and more work in the form of continuous finetuning will be undertaken.