A Lightweight Multi-Expert Generative Language Model System for Engineering Information and Knowledge Extraction

📄 arXiv: 2505.21109v1 📥 PDF

作者: Bogdan Bogachov, Yaoyao Fiona Zhao

分类: cs.CL, cs.AI, cs.CE, cs.IR, cs.LG

发布日期: 2025-05-27

备注: 10 pages, 4 Figures, 6 Tables. This paper has been accepted to be published in the proceedings of IDETC-CIE 2025

💡 一句话要点

提出轻量级多专家生成语言模型系统SLG，用于工程信息与知识抽取。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 轻量级语言模型 领域自适应 知识抽取 工程信息 生成式AI 多专家系统 Small Language Graph

📋 核心要点

  1. 现有领域自适应方法计算密集，且模型仍存在幻觉问题，尤其是在对结构化文本要求高的工程领域。
  2. 论文提出Small Language Graph (SLG)，通过图结构组织多个轻量级专家模型，每个专家模型针对特定文本微调。
  3. 实验表明，SLG在Exact Match指标上优于传统微调方法3倍，且微调速度提升1.7倍。

📝 摘要（中文）

本文提出了一种名为Small Language Graph (SLG) 的轻量级领域自适应解决方案，旨在解决大型语言模型在工程领域应用中计算资源需求高和幻觉问题。SLG系统采用图结构，每个节点代表一个轻量级专家模型，这些专家模型在特定的简明文本上进行微调。实验结果表明，SLG在Exact Match指标上超越了传统的微调方法3倍，并且微调过程比大型独立语言模型快1.7倍。该研究为中小型工程公司使用生成式AI技术（如LLM）提供了可能，无需投资昂贵的计算资源。此外，图架构和小尺寸专家节点为分布式AI系统提供了潜在机会，从而可能缓解对昂贵集中式计算集群的全球需求。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在工程领域应用时面临的两个主要问题：一是计算资源需求高，二是容易产生幻觉。现有领域自适应方法通常需要大量的计算资源进行微调，并且微调后的模型仍然可能生成不准确或不一致的内容，这在工程领域是不可接受的。

核心思路：论文的核心思路是将一个大型语言模型分解为多个小型、专业的专家模型，每个专家模型只负责处理特定领域的知识。这些专家模型以图的形式组织起来，形成Small Language Graph (SLG)。通过这种方式，可以降低每个模型的计算复杂度，并提高模型的专业性和准确性。

技术框架：SLG系统的整体架构是一个图结构，其中每个节点代表一个轻量级专家模型。每个专家模型都是一个小型语言模型，例如一个参数量较小的Transformer模型。这些专家模型在特定的、简明的文本上进行微调，使其能够更好地理解和生成该领域的知识。在推理阶段，系统会根据输入文本的特征，选择合适的专家模型进行处理，并将结果进行整合。

关键创新：SLG最重要的技术创新点在于其轻量级和模块化的设计。与传统的微调方法相比，SLG不需要对整个大型语言模型进行微调，而是只需要对少量的小型专家模型进行微调。这大大降低了计算资源的需求，并且提高了微调的效率。此外，SLG的模块化设计使得可以方便地添加或删除专家模型，从而适应不同的应用场景。

关键设计：论文中没有明确给出关键参数设置、损失函数或网络结构的具体细节。但是，可以推断出，每个专家模型的训练目标是最小化其在特定领域文本上的生成误差。损失函数可能包括交叉熵损失或类似的语言模型损失函数。专家模型的网络结构可能采用标准的Transformer结构，但参数量会相对较小。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SLG在Exact Match指标上比传统微调方法提升了3倍，表明其生成内容的准确性显著提高。同时，SLG的微调速度比大型独立语言模型快1.7倍，验证了其轻量级设计的优势。这些结果表明，SLG在计算资源有限的情况下，也能实现高性能的工程信息与知识抽取。

🎯 应用场景

该研究成果可应用于各种工程领域的知识抽取和信息生成任务，例如自动生成工程文档、设计报告、技术规范等。通过降低计算资源需求和提高生成内容的准确性，SLG系统有望帮助中小型工程企业更有效地利用生成式AI技术，提升工作效率和产品质量。此外，其分布式架构也为未来构建大规模分布式AI系统提供了新的思路。

📄 摘要（原文）

Despite recent advancements in domain adaptation techniques for large language models, these methods remain computationally intensive, and the resulting models can still exhibit hallucination issues. Most existing adaptation methods do not prioritize reducing the computational resources required for fine-tuning and inference of language models. Hallucination issues have gradually decreased with each new model release. However, they remain prevalent in engineering contexts, where generating well-structured text with minimal errors and inconsistencies is critical. This work introduces a novel approach called the Small Language Graph (SLG), which is a lightweight adaptation solution designed to address the two key challenges outlined above. The system is structured in the form of a graph, where each node represents a lightweight expert - a small language model fine-tuned on specific and concise texts. The results of this study have shown that SLG was able to surpass conventional fine-tuning methods on the Exact Match metric by 3 times. Additionally, the fine-tuning process was 1.7 times faster compared to that of a larger stand-alone language model. These findings introduce a potential for small to medium-sized engineering companies to confidently use generative AI technologies, such as LLMs, without the necessity to invest in expensive computational resources. Also, the graph architecture and the small size of expert nodes offer a possible opportunity for distributed AI systems, thus potentially diverting the global need for expensive centralized compute clusters.