HoneyBee: Progressive Instruction Finetuning of Large Language Models for Materials Science

📄 arXiv: 2310.08511v1 📥 PDF

作者: Yu Song, Santiago Miret, Huan Zhang, Bang Liu

分类: cs.CL, cond-mat.mtrl-sci, cs.AI

发布日期: 2023-10-12

🔗 代码/项目: GITHUB

💡 一句话要点

提出HoneyBee以解决材料科学领域数据稀缺问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 材料科学 语言模型 数据生成 可信数据 微调 指令学习 模型验证

📋 核心要点

  1. 现有材料科学领域缺乏高质量的文本数据，限制了相关研究的进展。
  2. 提出MatSci-Instruct，通过指令生成和验证模块提升数据的可信度，并微调HoneyBee模型。
  3. HoneyBee在MatSci-NLP基准测试中表现优异，逐步提升了模型的性能和数据质量。

📝 摘要（中文）

本文提出了一种基于指令的可信数据整理过程（MatSci-Instruct），并将其应用于针对材料科学的LLaMa基础语言模型的微调（HoneyBee）。MatSci-Instruct旨在缓解开放文献中相关高质量材料科学文本数据的稀缺性，而HoneyBee是首个专门针对材料科学的十亿参数语言模型。通过多个商业大型语言模型的生成与独立验证模块的验证，MatSci-Instruct提高了生成数据的可信度。我们构建了一个多任务数据集，并在多个维度上评估数据质量，包括准确性、相关性、完整性和合理性。此外，通过迭代生成更具针对性的指令和数据，HoneyBee模型在微调过程中表现出逐步提升的性能。我们的评估结果表明，HoneyBee在材料科学任务上超越了现有语言模型，并在指令数据精炼的各个阶段实现了迭代改进。

🔬 方法详解

问题定义：本文旨在解决材料科学领域中高质量文本数据稀缺的问题，现有方法无法有效生成和验证相关数据，导致研究受限。

核心思路：通过MatSci-Instruct流程，结合多个大型语言模型的生成与独立验证，提升生成数据的可信度，从而为材料科学提供更可靠的文本数据支持。

技术框架：整体架构包括数据生成模块（Instructor）和验证模块（Verifier），通过迭代的微调-评估-反馈循环，逐步优化生成的指令和数据。

关键创新：HoneyBee是首个专门针对材料科学的十亿参数语言模型，利用指令生成和验证机制显著提高了数据的质量和可信度。

关键设计：在模型微调过程中，采用了多任务数据集，评估维度包括准确性、相关性、完整性和合理性，确保生成数据的全面性和实用性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在MatSci-NLP基准测试中，HoneyBee模型在多个材料科学任务上表现优于现有语言模型，显示出显著的性能提升，具体提升幅度未知，且在指令数据精炼的各个阶段均实现了迭代改进。

🎯 应用场景

该研究的潜在应用领域包括材料科学研究、教育和工业应用。HoneyBee模型能够为材料科学领域的研究人员提供高质量的文本数据支持，促进新材料的发现与开发，具有重要的实际价值和长远影响。

📄 摘要（原文）

We propose an instruction-based process for trustworthy data curation in materials science (MatSci-Instruct), which we then apply to finetune a LLaMa-based language model targeted for materials science (HoneyBee). MatSci-Instruct helps alleviate the scarcity of relevant, high-quality materials science textual data available in the open literature, and HoneyBee is the first billion-parameter language model specialized to materials science. In MatSci-Instruct we improve the trustworthiness of generated data by prompting multiple commercially available large language models for generation with an Instructor module (e.g. Chat-GPT) and verification from an independent Verifier module (e.g. Claude). Using MatSci-Instruct, we construct a dataset of multiple tasks and measure the quality of our dataset along multiple dimensions, including accuracy against known facts, relevance to materials science, as well as completeness and reasonableness of the data. Moreover, we iteratively generate more targeted instructions and instruction-data in a finetuning-evaluation-feedback loop leading to progressively better performance for our finetuned HoneyBee models. Our evaluation on the MatSci-NLP benchmark shows HoneyBee's outperformance of existing language models on materials science tasks and iterative improvement in successive stages of instruction-data refinement. We study the quality of HoneyBee's language modeling through automatic evaluation and analyze case studies to further understand the model's capabilities and limitations. Our code and relevant datasets are publicly available at \url{https://github.com/BangLab-UdeM-Mila/NLP4MatSci-HoneyBee}.