Software Engineering and Foundation Models: Insights from Industry Blogs Using a Jury of Foundation Models

📄 arXiv: 2410.09012v2 📥 PDF

作者: Hao Li, Cor-Paul Bezemer, Ahmed E. Hassan

分类: cs.SE, cs.AI

发布日期: 2024-10-11 (更新: 2025-01-06)

备注: ICSE-SEIP 2025

DOI: 10.1109/ICSE-SEIP66354.2025.00033

🔗 代码/项目: GITHUB

💡 一句话要点

利用大模型评审团分析行业博客，洞察软件工程与基础模型的交叉应用。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 基础模型 软件工程 大型语言模型 行业博客分析 FM4SE SE4FM 文献调研 工业实践

📋 核心要点

  1. 现有文献综述主要关注学术界对FM4SE和SE4FM的研究，缺乏对行业实践的系统性分析和总结。
  2. 利用大型语言模型作为评审团，系统性地分析了大量来自领先科技公司的FM4SE和SE4FM博客文章，提取关键信息。
  3. 揭示了FM4SE和SE4FM在工业界的实际应用情况，并提出了八个未来研究方向，以弥合学术界与工业界的差距。

📝 摘要（中文）

基础模型（FMs），如大型语言模型（LLMs），对包括软件工程（SE）在内的许多领域产生了重大影响。SE与FMs的交互导致了FMs集成到SE实践中（FM4SE）以及SE方法应用于FMs（SE4FM）。虽然已经存在一些关于这些趋势的学术贡献的文献综述，但我们是第一个提供从业者视角的。我们分析了来自领先科技公司的155篇FM4SE和997篇SE4FM博客文章，利用FM驱动的调研方法系统地标记和总结所讨论的活动和任务。我们观察到，虽然代码生成是最突出的FM4SE任务，但FMs也被用于许多其他SE活动，如代码理解、总结和API推荐。关于SE4FM的大部分博客文章都是关于模型部署与操作，以及系统架构与编排。虽然重点是云部署，但人们对压缩FMs并将它们部署在较小的设备（如边缘或移动设备）上的兴趣日益浓厚。我们概述了从我们的见解中获得的八个未来研究方向，旨在弥合学术发现与实际应用之间的差距。我们的研究不仅丰富了关于FM4SE和SE4FM实际应用的知识体系，而且证明了FMs作为一种强大而有效的方法在技术和灰色文献领域进行文献调查的效用。我们的数据集、结果、代码和使用的提示可以在我们的在线复制包中找到：https://github.com/SAILResearch/fmse-blogs。

🔬 方法详解

问题定义：现有关于软件工程与基础模型交叉应用的研究主要集中在学术界，缺乏对工业界实践的系统性分析。现有方法难以有效处理大量的非结构化行业博客数据，从中提取有价值的信息。

核心思路：利用大型语言模型（LLMs）作为评审团，自动化地分析和总结大量的行业博客文章。这种方法能够高效地处理非结构化数据，并提取关键信息，从而提供对工业界实践的洞察。

技术框架：该研究采用了一种基于LLM的调研方法，主要包括以下几个阶段：1) 数据收集：收集来自领先科技公司的FM4SE和SE4FM相关的博客文章。2) 数据标注：利用LLM对博客文章进行标注，识别其中涉及的活动和任务。3) 数据分析：对标注后的数据进行统计分析，总结FM4SE和SE4FM在工业界的实际应用情况。4) 结果呈现：将分析结果以报告的形式呈现，并提出未来研究方向。

关键创新：该研究的关键创新在于利用LLM作为评审团，自动化地进行文献调研。这种方法不仅提高了调研效率，而且能够处理大量的非结构化数据，从而提供更全面的视角。此外，该研究首次系统性地分析了FM4SE和SE4FM在工业界的实际应用情况，填补了现有研究的空白。

关键设计：研究中使用了特定的prompt来指导LLM进行数据标注和总结。这些prompt的设计至关重要，直接影响到标注的准确性和总结的质量。此外，研究人员还对LLM的输出结果进行了人工验证，以确保结果的可靠性。具体的参数设置和模型选择在论文的在线复制包中提供。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

该研究分析了155篇FM4SE和997篇SE4FM博客文章，发现代码生成是FM4SE最突出的任务，而SE4FM主要集中在模型部署与操作以及系统架构与编排。研究还揭示了对压缩FMs并在边缘或移动设备上部署的日益增长的兴趣。基于这些发现，研究提出了八个未来研究方向。

🎯 应用场景

该研究成果可应用于软件工程领域，帮助从业者了解基础模型在软件开发中的应用现状和未来趋势。同时，该研究提出的基于LLM的文献调研方法，也可推广到其他技术领域，提高文献调研的效率和质量。该研究还有助于学术界更好地了解工业界的需求，从而开展更具应用价值的研究。

📄 摘要（原文）

Foundation models (FMs) such as large language models (LLMs) have significantly impacted many fields, including software engineering (SE). The interaction between SE and FMs has led to the integration of FMs into SE practices (FM4SE) and the application of SE methodologies to FMs (SE4FM). While several literature surveys exist on academic contributions to these trends, we are the first to provide a practitioner's view. We analyze 155 FM4SE and 997 SE4FM blog posts from leading technology companies, leveraging an FM-powered surveying approach to systematically label and summarize the discussed activities and tasks. We observed that while code generation is the most prominent FM4SE task, FMs are leveraged for many other SE activities such as code understanding, summarization, and API recommendation. The majority of blog posts on SE4FM are about model deployment & operation, and system architecture & orchestration. Although the emphasis is on cloud deployments, there is a growing interest in compressing FMs and deploying them on smaller devices such as edge or mobile devices. We outline eight future research directions inspired by our gained insights, aiming to bridge the gap between academic findings and real-world applications. Our study not only enriches the body of knowledge on practical applications of FM4SE and SE4FM but also demonstrates the utility of FMs as a powerful and efficient approach in conducting literature surveys within technical and grey literature domains. Our dataset, results, code and used prompts can be found in our online replication package at https://github.com/SAILResearch/fmse-blogs.