Assessing LLMs for Front-end Software Architecture Knowledge

📄 arXiv: 2502.19518v2 📥 PDF

作者: L. P. Franciscatto Guerra, N. Ernst

分类: cs.SE, cs.AI

发布日期: 2025-02-26 (更新: 2025-03-10)

备注: 4 pages, 1 figure, to appear in the International Workshop on Designing Software at ICSE 2025

💡 一句话要点

评估大型语言模型在前端软件架构知识方面的能力，以VIPER架构为例。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 软件架构 VIPER架构 布鲁姆分类法 软件设计 AI辅助开发 LLM评估

📋 核心要点

  1. 现有软件设计自动化方法在理解和应用复杂架构（如VIPER）方面存在不足，难以满足实际需求。
  2. 本研究利用布鲁姆分类法，从记忆到创造等多维度评估LLM在VIPER架构上的能力，揭示其优势与局限。
  3. 实验表明，LLM擅长高阶任务（评估、创造），但在低阶任务（精确检索）中表现欠佳，为后续研究提供参考。

📝 摘要（中文）

大型语言模型(LLMs)在自动化软件开发任务方面展现出巨大的潜力，但它们在软件设计任务方面的能力仍不清楚。本研究调查了LLM在理解、复现和生成复杂VIPER架构（一种iOS应用程序的设计模式）中的结构的能力。我们利用布鲁姆分类法开发了一个全面的评估框架，以评估LLM在不同认知领域（如记忆、理解、应用、分析、评估和创造）的性能。使用ChatGPT 4 Turbo 2024-04-09的实验结果表明，LLM在评估和创造等高阶任务中表现出色，但在需要精确检索架构细节的低阶任务中面临挑战。这些发现突出了LLM在降低开发成本方面的潜力，以及在实际软件设计场景中有效应用所面临的障碍。本研究提出了一种评估LLM在软件架构方面能力的基准格式，旨在为更强大和可访问的AI驱动的开发工具做出贡献。

🔬 方法详解

问题定义：论文旨在评估大型语言模型（LLMs）在前端软件架构知识方面的能力，特别是针对iOS应用程序的VIPER架构。现有方法在利用LLM进行软件设计时，缺乏对其架构理解和应用能力的系统性评估，导致LLM在实际软件设计中的应用效果不确定。现有方法难以准确评估LLM在不同认知层次上的表现，无法有效指导LLM在软件设计中的应用。

核心思路：论文的核心思路是利用布鲁姆分类法，将LLM的能力分解为记忆、理解、应用、分析、评估和创造等不同的认知领域，并设计相应的评估任务。通过评估LLM在这些任务上的表现，可以全面了解其在软件架构知识方面的能力。这种分层评估方法能够更清晰地揭示LLM的优势和局限，为后续改进提供方向。

技术框架：整体框架包括以下几个主要步骤：1) 选择VIPER架构作为研究对象；2) 基于布鲁姆分类法设计评估任务；3) 使用ChatGPT 4 Turbo 2024-04-09作为LLM进行实验；4) 分析实验结果，评估LLM在不同认知领域的能力。评估任务涵盖了从记忆VIPER架构的基本概念到创造新的VIPER模块等多个方面。

关键创新：论文的关键创新在于提出了一个基于布鲁姆分类法的评估框架，用于系统性地评估LLM在软件架构知识方面的能力。与以往的研究相比，该框架能够更全面、更细致地了解LLM在不同认知层次上的表现，从而为LLM在软件设计中的应用提供更有效的指导。此外，该研究还提供了一个评估LLM在软件架构方面能力的基准格式。

关键设计：论文的关键设计包括：1) 针对VIPER架构的特定任务设计，确保评估的针对性和有效性；2) 使用ChatGPT 4 Turbo 2024-04-09，保证实验结果的可靠性；3) 基于布鲁姆分类法的分层评估，能够更清晰地揭示LLM的优势和局限。没有涉及具体的参数设置、损失函数或网络结构，因为研究重点在于评估而非模型训练。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，ChatGPT 4 Turbo在评估和创造等高阶任务中表现出色，但在需要精确检索架构细节的低阶任务中面临挑战。例如，LLM能够成功地评估不同的VIPER模块设计方案，并提出改进建议，但在回忆VIPER架构的具体组件和它们之间的关系时，表现较差。这表明LLM在软件架构方面具有一定的推理和创造能力，但在知识记忆方面仍有提升空间。

🎯 应用场景

该研究成果可应用于软件开发自动化、AI辅助软件设计等领域。通过评估LLM在软件架构方面的能力，可以更好地利用LLM来辅助软件开发人员进行设计、代码生成和测试等任务，从而提高开发效率和软件质量。未来，该研究可以推广到其他软件架构和编程语言，为更广泛的AI驱动的软件开发工具提供支持。

📄 摘要（原文）

Large Language Models (LLMs) have demonstrated significant promise in automating software development tasks, yet their capabilities with respect to software design tasks remains largely unclear. This study investigates the capabilities of an LLM in understanding, reproducing, and generating structures within the complex VIPER architecture, a design pattern for iOS applications. We leverage Bloom's taxonomy to develop a comprehensive evaluation framework to assess the LLM's performance across different cognitive domains such as remembering, understanding, applying, analyzing, evaluating, and creating. Experimental results, using ChatGPT 4 Turbo 2024-04-09, reveal that the LLM excelled in higher-order tasks like evaluating and creating, but faced challenges with lower-order tasks requiring precise retrieval of architectural details. These findings highlight both the potential of LLMs to reduce development costs and the barriers to their effective application in real-world software design scenarios. This study proposes a benchmark format for assessing LLM capabilities in software architecture, aiming to contribute toward more robust and accessible AI-driven development tools.