Question answering system of bridge design specification based on large language model

📄 arXiv: 2408.13282v1 📥 PDF

作者: Leye Zhang, Xiangxiang Tian, Hongjun Zhang

分类: cs.CL, cs.LG

发布日期: 2024-08-26

备注: 10 pages, 7 figures

💡 一句话要点

构建基于大语言模型的桥梁设计规范问答系统

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 桥梁设计规范 问答系统 大型语言模型 Bert 微调 自然语言处理 知识抽取

📋 核心要点

  1. 现有桥梁设计规范问答系统缺乏智能化，难以高效准确地提取和利用规范信息。
  2. 利用大型语言模型强大的语义理解能力，通过微调或自建模型，实现规范文本的精准问答。
  3. 实验表明，Bert完全微调方案在桥梁设计规范问答任务中表现最佳，测试集准确率达到100%。

📝 摘要（中文）

本文构建了一个基于大型语言模型的桥梁设计规范问答系统。研究尝试了三种实现方案：Bert预训练模型的完全微调、Bert预训练模型的参数高效微调以及从头开始构建语言模型。通过自建的问答任务数据集，基于TensorFlow和Keras深度学习平台框架，构建并训练模型来预测用户给出的桥梁设计规范中答案的起始位置和结束位置。实验结果表明，Bert预训练模型的完全微调在训练集、验证集和测试集上均达到了100%的准确率，并且该系统可以从用户给出的桥梁设计规范中提取答案来回答用户的各种问题；而Bert预训练模型的参数高效微调以及从头开始构建的语言模型在训练集上表现良好，但它们在测试集上的泛化能力有待提高。本文的研究为专业领域问答系统的开发提供了有益的参考。

🔬 方法详解

问题定义：论文旨在解决桥梁设计规范的智能问答问题。现有方法通常依赖于人工规则或简单的关键词匹配，无法准确理解用户提问的意图，也难以从复杂的规范文本中提取精确答案。这导致了效率低下和用户体验差的问题。

核心思路：论文的核心思路是利用大型语言模型（LLM）强大的语义理解和生成能力，将桥梁设计规范问答任务转化为一个文本跨度预测问题。通过训练模型来预测答案在规范文本中的起始和结束位置，从而实现精准问答。

技术框架：整体框架包括以下几个主要步骤：1) 构建桥梁设计规范问答数据集；2) 选择合适的LLM作为基础模型（Bert）；3) 采用三种方案进行模型训练：完全微调Bert、参数高效微调Bert、从头构建语言模型；4) 评估模型在训练集、验证集和测试集上的性能。整个流程基于TensorFlow和Keras深度学习平台实现。

关键创新：该论文的关键创新在于将LLM应用于桥梁设计规范问答这一专业领域，并探索了不同的模型训练策略。通过完全微调Bert模型，实现了在特定领域的高精度问答。同时，对比了参数高效微调和从头构建模型的效果，为后续研究提供了参考。

关键设计：论文的关键设计包括：1) 构建高质量的桥梁设计规范问答数据集，保证数据的覆盖性和准确性；2) 采用Bert模型作为基础，利用其强大的预训练知识；3) 使用交叉熵损失函数来优化模型，目标是最小化预测答案起始和结束位置的误差；4) 实验中对比了不同微调策略（完全微调、参数高效微调），并评估了各自的性能。

📊 实验亮点

实验结果表明，在桥梁设计规范问答任务中，Bert预训练模型的完全微调方案表现最佳，在训练集、验证集和测试集上均达到了100%的准确率。这表明通过充分利用预训练模型的知识，可以有效解决特定领域的问答问题。

🎯 应用场景

该研究成果可应用于智能桥梁设计辅助系统，帮助工程师快速准确地查找和理解设计规范，提高设计效率和质量。此外，该方法还可以推广到其他专业领域的规范问答系统，例如建筑、电力、机械等，具有广泛的应用前景。

📄 摘要（原文）

This paper constructs question answering system for bridge design specification based on large language model. Three implementation schemes are tried: full fine-tuning of the Bert pretrained model, parameter-efficient fine-tuning of the Bert pretrained model, and self-built language model from scratch. Through the self-built question and answer task dataset, based on the tensorflow and keras deep learning platform framework, the model is constructed and trained to predict the start position and end position of the answer in the bridge design specification given by the user. The experimental results show that full fine-tuning of the Bert pretrained model achieves 100% accuracy in the training-dataset, validation-dataset and test-dataset, and the system can extract the answers from the bridge design specification given by the user to answer various questions of the user; While parameter-efficient fine-tuning of the Bert pretrained model and self-built language model from scratch perform well in the training-dataset, their generalization ability in the test-dataset needs to be improved. The research of this paper provides a useful reference for the development of question answering system in professional field.