The Systems Engineering Approach in Times of Large Language Models

📄 arXiv: 2411.09050v1 📥 PDF

作者: Christian Cabrera, Viviana Bastidas, Jennifer Schooling, Neil D. Lawrence

分类: cs.AI, cs.CY, cs.SE

发布日期: 2024-11-13

备注: This paper has been accepted for the upcoming 58th Hawaii International Conference on System Sciences (HICSS-58)

💡 一句话要点

利用系统工程方法应对大语言模型在社会技术系统中的集成挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 系统工程 社会技术系统 人工智能 集成 问题定义 需求分析

📋 核心要点

  1. 现有方法难以将LLM有效集成到复杂的社会技术系统中，面临系统复杂性和LLM自身特性带来的挑战。
  2. 论文提出采用系统工程方法，强调在考虑技术细节之前，优先理解问题及其上下文，从而促进LLM的有效应用。
  3. 论文调研了系统工程在解决类似问题上的经验，并为未来LLM的采纳提供了方向性建议，但具体实验数据未知。

📝 摘要（中文）

将大型语言模型（LLM）应用于解决关键社会问题需要在社会技术系统中采纳这项新技术。然而，此类系统的复杂性和LLM的本质对这一愿景提出了挑战。解决这些挑战的方案不太可能来自人工智能（AI）社区本身。相反，系统工程方法更适合通过优先考虑问题及其背景来促进LLM的采用。本文介绍了LLM产生的挑战，并调研了用于工程化基于AI的系统的系统研究工作。我们揭示了系统工程原理如何支持解决与LLM提出的问题类似的问题，并讨论了我们的发现，为采用LLM提供未来的方向。

🔬 方法详解

问题定义：论文旨在解决将大型语言模型（LLM）集成到复杂的社会技术系统中时遇到的挑战。现有方法，特别是来自人工智能领域的解决方案，往往难以应对此类系统的复杂性，并且可能忽略了问题的上下文。现有方法的痛点在于缺乏对系统整体性的考虑，以及对LLM与社会技术系统交互方式的深入理解。

核心思路：论文的核心思路是借鉴系统工程的方法，将LLM的集成视为一个系统工程问题，强调在考虑技术细节之前，首先要充分理解问题的背景、目标和约束条件。通过系统化的分析和设计，可以更好地将LLM融入到社会技术系统中，从而更有效地解决实际问题。这种方法强调跨学科合作，需要人工智能、系统工程和社会科学等领域的专家共同参与。

技术框架：论文并没有提出一个具体的、全新的技术框架，而是强调系统工程的通用原则和方法。这些原则包括：问题定义、需求分析、系统设计、集成测试和部署维护等。在LLM集成的背景下，这意味着需要首先明确LLM要解决的具体问题，然后分析系统对LLM的需求，设计合适的系统架构，进行集成测试，并最终部署和维护系统。论文调研了已有的系统研究工作，并将其与LLM集成面临的挑战进行了对比分析。

关键创新：论文的关键创新在于将系统工程的视角引入到LLM的应用中。虽然LLM本身是人工智能领域的成果，但如何将其有效地应用到实际问题中，需要系统工程的指导。论文强调，仅仅关注LLM的技术细节是不够的，更重要的是要理解LLM在整个系统中的作用，以及它与其他组件之间的交互关系。这种系统化的思考方式有助于避免盲目应用LLM，从而提高LLM应用的成功率。

关键设计：论文并没有涉及具体的参数设置、损失函数或网络结构等技术细节。它更侧重于方法论的层面，强调系统工程的原则和方法。因此，关键设计体现在对问题和需求的系统化分析，以及对系统架构的合理设计上。具体的技术细节需要根据实际应用场景进行调整和优化。

🖼️ 关键图片

img_0

📊 实验亮点

论文的主要亮点在于提出了将系统工程方法应用于LLM集成问题的思路，并分析了系统工程在解决类似问题上的经验。虽然没有提供具体的性能数据，但论文为LLM的应用提供了一个新的视角，强调了系统化思考的重要性。通过调研系统研究工作，论文为未来的研究方向提供了指导。

🎯 应用场景

该研究成果可应用于各种需要将LLM集成到复杂系统中的场景，例如医疗诊断、智能交通、金融风控等。通过采用系统工程方法，可以提高LLM应用的可靠性、安全性和有效性，从而更好地解决实际问题，并促进LLM技术的广泛应用。未来的影响在于推动人工智能技术与传统工程领域的融合。

📄 摘要（原文）

Using Large Language Models (LLMs) to address critical societal problems requires adopting this novel technology into socio-technical systems. However, the complexity of such systems and the nature of LLMs challenge such a vision. It is unlikely that the solution to such challenges will come from the Artificial Intelligence (AI) community itself. Instead, the Systems Engineering approach is better equipped to facilitate the adoption of LLMs by prioritising the problems and their context before any other aspects. This paper introduces the challenges LLMs generate and surveys systems research efforts for engineering AI-based systems. We reveal how the systems engineering principles have supported addressing similar issues to the ones LLMs pose and discuss our findings to provide future directions for adopting LLMs.