Large Language Models as Software Components: A Taxonomy for LLM-Integrated Applications

📄 arXiv: 2406.10300v1 📥 PDF

作者: Irene Weber

分类: cs.SE, cs.CL, cs.LG

发布日期: 2024-06-13

💡 一句话要点

提出LLM集成应用分类法，为LLM赋能软件系统提供分析框架。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 LLM集成应用 软件工程 分类法 LLM组件

📋 核心要点

  1. 现有LLM集成应用缺乏统一的术语、概念和方法，阻碍了该领域的发展和应用。
  2. 论文提出一种LLM集成应用的分类法，通过分析LLM组件的维度来描述和理解这些系统。
  3. 通过案例研究验证了该分类法的有效性，并展示了其在LLM集成应用工程中的理论和实践价值。

📝 摘要（中文）

大型语言模型（LLM）近来已被广泛采用。研究探索了它们作为自主代理和软件工程工具的用途。另一方面，LLM集成应用是利用LLM执行原本不可能或需要大量编码工作才能完成的任务的软件系统。虽然LLM集成应用工程正在成为一门新兴学科，但其术语、概念和方法需要确立。本研究提供了一个LLM集成应用的分类法，为分析和描述这些系统提供了一个框架。它还展示了在应用中利用LLM的各种方式，以及实现此类集成的选项。遵循既定方法，我们分析了最近的LLM集成应用样本，以识别相关维度。我们通过将分类法应用于其他案例来评估它。该回顾表明，应用以多种方式将LLM集成用于各种目的。通常，它们包含多个LLM集成，我们称之为“LLM组件”。为了清楚地了解应用程序的架构，我们分别检查每个LLM组件。我们确定了13个维度来描述LLM组件，包括利用的LLM技能、输出格式等等。LLM集成应用被描述为其LLM组件的组合。我们建议使用特征向量进行简洁的可视化表示。该分类法有效地描述了LLM集成应用。它可以为LLM集成应用工程这一新兴领域的理论构建做出贡献，并有助于开发此类系统。研究人员和从业者探索了在应用中利用LLM的多种创造性方法。尽管挑战依然存在，但集成LLM可能会彻底改变软件系统的构建方式。

🔬 方法详解

问题定义：论文旨在解决LLM集成应用领域缺乏统一的描述和分析框架的问题。现有方法难以系统地理解和比较不同的LLM集成应用，阻碍了该领域的理论发展和工程实践。现有方法没有充分考虑LLM在软件系统中扮演的不同角色和集成方式，导致对LLM集成应用的理解不够深入。

核心思路：论文的核心思路是将LLM集成应用分解为多个LLM组件，并从多个维度对这些组件进行刻画。通过分析每个LLM组件的特征，可以更清晰地理解整个应用的架构和功能。这种分解和分析的方法有助于建立LLM集成应用的通用模型，并为该领域的研究和开发提供指导。

技术框架：论文的技术框架包括以下几个步骤：1) 分析LLM集成应用样本，识别相关维度；2) 定义LLM组件的概念，将应用分解为多个组件；3) 确定13个维度来描述LLM组件，包括LLM技能、输出格式等；4) 使用特征向量表示LLM集成应用，实现可视化和比较；5) 通过案例研究验证分类法的有效性。

关键创新：论文的关键创新在于提出了LLM组件的概念，并将LLM集成应用分解为多个组件进行分析。这种分解的方法能够更细粒度地理解LLM在软件系统中的作用，并为LLM集成应用的设计和开发提供更具体的指导。此外，论文还提出了13个维度来描述LLM组件，这些维度涵盖了LLM技能、输出格式、集成方式等多个方面，为全面理解LLM集成应用提供了基础。

关键设计：论文的关键设计包括：1) 13个维度的选择，这些维度需要能够全面描述LLM组件的特征；2) 特征向量的表示方法，需要能够简洁地表达LLM集成应用的架构；3) 案例研究的选择，需要能够覆盖不同类型的LLM集成应用。

📊 实验亮点

论文通过对多个LLM集成应用的案例研究，验证了所提出的分类法的有效性。研究表明，该分类法能够有效地描述不同类型的LLM集成应用，并为理解其架构和功能提供指导。此外，论文还展示了如何使用特征向量来表示LLM集成应用，从而实现可视化和比较。

🎯 应用场景

该研究成果可应用于软件工程、人工智能、人机交互等领域。通过使用该分类法，开发者可以更好地理解和设计LLM集成应用，提高软件系统的智能化水平。该研究还有助于推动LLM在各个行业的应用，例如智能客服、自动化文档生成、智能推荐等。

📄 摘要（原文）

Large Language Models (LLMs) have become widely adopted recently. Research explores their use both as autonomous agents and as tools for software engineering. LLM-integrated applications, on the other hand, are software systems that leverage an LLM to perform tasks that would otherwise be impossible or require significant coding effort. While LLM-integrated application engineering is emerging as new discipline, its terminology, concepts and methods need to be established. This study provides a taxonomy for LLM-integrated applications, offering a framework for analyzing and describing these systems. It also demonstrates various ways to utilize LLMs in applications, as well as options for implementing such integrations. Following established methods, we analyze a sample of recent LLM-integrated applications to identify relevant dimensions. We evaluate the taxonomy by applying it to additional cases. This review shows that applications integrate LLMs in numerous ways for various purposes. Frequently, they comprise multiple LLM integrations, which we term ``LLM components''. To gain a clear understanding of an application's architecture, we examine each LLM component separately. We identify thirteen dimensions along which to characterize an LLM component, including the LLM skills leveraged, the format of the output, and more. LLM-integrated applications are described as combinations of their LLM components. We suggest a concise representation using feature vectors for visualization. The taxonomy is effective for describing LLM-integrated applications. It can contribute to theory building in the nascent field of LLM-integrated application engineering and aid in developing such systems. Researchers and practitioners explore numerous creative ways to leverage LLMs in applications. Though challenges persist, integrating LLMs may revolutionize the way software systems are built.