Prompt-Efficient Fine-Tuning for GPT-like Deep Models to Reduce Hallucination and to Improve Reproducibility in Scientific Text Generation Using Stochastic Optimisation Techniques

📄 arXiv: 2411.06445v1 📥 PDF

作者: Daniil Sulimov

分类: cs.CL, cs.AI

发布日期: 2024-11-10

备注: 73 pages, 6 figures

💡 一句话要点

提出基于LoRA的MS-GPT模型，降低科学文本生成中的幻觉并提升可复现性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 参数高效微调 LoRA 科学文本生成 幻觉抑制 可复现性 质谱 GPT-2

📋 核心要点

  1. 现有LLM在科学文本生成中存在准确性差、一致性低和幻觉问题，限制了其应用。
  2. 采用参数高效微调（PEFT）方法，利用LoRA适配器微调GPT-2，构建MS-GPT模型。
  3. 实验表明，MS-GPT在文本连贯性、可复现性方面优于GPT-2，并提出了新的可复现性评估指标。

📝 摘要（中文）

大型语言模型（LLMs）越来越多地被应用于复杂的科学文本生成任务，但它们在准确性、一致性和幻觉控制方面存在局限性。本研究提出了一种针对GPT类模型的参数高效微调（PEFT）方法，旨在减轻幻觉并提高可复现性，特别是在质谱计算领域。我们使用低秩适应（LoRA）适配器来改进GPT-2，命名为MS-GPT，并使用专门的质谱文献语料库进行训练。通过应用于LLMs的创新评估方法，包括BLEU、ROUGE和困惑度分数，微调后的MS-GPT模型在文本连贯性和可复现性方面表现出优于基线GPT-2的性能，并通过Wilcoxon秩和检验进行了统计分析。此外，我们提出了一种基于受控提示下模型输出的余弦相似度的可复现性指标，展示了MS-GPT的增强稳定性。这项研究强调了PEFT在优化LLMs以适应科学环境方面的潜力，降低了计算成本，同时提高了模型的可靠性。

🔬 方法详解

问题定义：大型语言模型在科学文本生成任务中面临幻觉问题，即生成不准确或不真实的陈述。此外，模型输出的可复现性也是一个挑战，相同的输入可能产生不同的结果。现有方法通常需要对整个模型进行微调，计算成本高昂，且容易过拟合。

核心思路：本研究的核心思路是利用参数高效微调（PEFT）技术，特别是LoRA，来调整预训练的GPT-2模型，使其更适应质谱领域的科学文本生成。通过只训练少量参数，降低计算成本，同时减少过拟合的风险。此外，论文还关注模型输出的可复现性，并提出了相应的评估指标。

技术框架：整体框架包括以下步骤：1) 收集质谱领域的科学文献数据，构建专门的语料库。2) 使用LoRA适配器微调GPT-2模型，得到MS-GPT模型。3) 使用BLEU、ROUGE和困惑度等指标评估模型的文本生成质量。4) 提出基于余弦相似度的可复现性指标，评估模型输出的稳定性。5) 使用Wilcoxon秩和检验进行统计分析，验证MS-GPT的优越性。

关键创新：最重要的技术创新点在于将LoRA应用于科学文本生成领域，并针对可复现性问题提出了新的评估指标。LoRA允许在不修改原始预训练模型参数的情况下，通过添加少量可训练参数来调整模型，显著降低了计算成本。可复现性指标则提供了一种量化模型输出稳定性的方法。

关键设计：LoRA适配器的具体参数设置（如秩的大小）未知。损失函数可能使用了标准的语言模型损失函数，如交叉熵损失。论文中提到使用了Wilcoxon秩和检验进行统计分析，表明实验设计考虑了统计显著性。可复现性指标基于余弦相似度，计算在相同提示下多次生成的文本嵌入向量之间的相似度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MS-GPT模型在文本连贯性和可复现性方面优于基线GPT-2模型。论文提出了基于余弦相似度的可复现性指标，并使用Wilcoxon秩和检验进行了统计分析，验证了MS-GPT的优越性。具体的性能提升幅度未知，但研究表明PEFT方法在科学文本生成领域具有潜力。

🎯 应用场景

该研究成果可应用于自动化科学报告生成、辅助科研写作、智能文献检索等领域。通过降低LLM的幻觉并提高可复现性，可以提升科学研究的效率和可靠性。未来，该方法可以推广到其他科学领域，促进人工智能在科学研究中的应用。

📄 摘要（原文）

Large Language Models (LLMs) are increasingly adopted for complex scientific text generation tasks, yet they often suffer from limitations in accuracy, consistency, and hallucination control. This thesis introduces a Parameter-Efficient Fine-Tuning (PEFT) approach tailored for GPT-like models, aiming to mitigate hallucinations and enhance reproducibility, particularly in the computational domain of mass spectrometry. We implemented Low-Rank Adaptation (LoRA) adapters to refine GPT-2, termed MS-GPT, using a specialized corpus of mass spectrometry literature. Through novel evaluation methods applied to LLMs, including BLEU, ROUGE, and Perplexity scores, the fine-tuned MS-GPT model demonstrated superior text coherence and reproducibility compared to the baseline GPT-2, confirmed through statistical analysis with the Wilcoxon rank-sum test. Further, we propose a reproducibility metric based on cosine similarity of model outputs under controlled prompts, showcasing MS-GPT's enhanced stability. This research highlights PEFT's potential to optimize LLMs for scientific contexts, reducing computational costs while improving model reliability.