Generative AI and Empirical Software Engineering: A Paradigm Shift

📄 arXiv: 2502.08108v2 📥 PDF

作者: Christoph Treude, Margaret-Anne Storey

分类: cs.SE, cs.AI

发布日期: 2025-02-12 (更新: 2025-11-03)

备注: Published at 2nd IEEE/ACM International Conference on AI-powered Software (AIware 2025)

💡 一句话要点

生成式AI重塑实证软件工程：范式转变与研究挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生成式AI 实证软件工程 大型语言模型 研究范式 AI协作 软件开发 AI辅助工具

📋 核心要点

  1. 传统软件工程研究面临AI快速发展带来的挑战，包括新的数据模式、因果假设变化以及对“开发者”、“工件”等概念的冲击。
  2. 论文探讨了LLM集成如何颠覆软件工程研究范式，强调需要调整研究问题、方法和验证标准以适应AI协作环境。
  3. 论文旨在帮助实证软件工程社区适应AI驱动的未来，其中AI系统不仅是工具，更是积极的协作者。

📝 摘要（中文）

大型语言模型（LLMs）和自主智能体在软件工程中的应用标志着一个持久的范式转变。这些系统为工具设计、工作流编排和实证观察创造了新的机会，同时从根本上改变了开发人员的角色和他们产生的工件。尽管传统的实证方法仍然是软件工程研究的核心，但人工智能的快速发展引入了新的数据模式，改变了因果假设，并挑战了诸如“开发人员”、“工件”和“交互”等基本概念。随着人类和AI智能体越来越多地共同创造，社会和技术参与者之间的界限变得模糊，研究结果的可重复性取决于模型更新和提示上下文。本文探讨了LLM集成到软件工程中如何颠覆已建立的研究范式，以及它如何改变我们研究的现象、我们依赖的方法和理论、我们分析的数据以及在动态AI介导环境中出现的有效性威胁。我们的目标是帮助实证软件工程社区调整其问题、工具和验证标准，以适应AI系统不仅仅是工具，而是积极的协作者，塑造软件工程及其研究的未来。

🔬 方法详解

问题定义：当前实证软件工程研究方法难以有效应对生成式AI带来的变化。传统方法在处理新的数据模式、理解AI参与下的因果关系以及定义“开发者”、“工件”等概念时面临挑战。现有方法难以捕捉人类与AI协同开发的复杂性，以及模型更新和提示上下文对研究结果的影响。

核心思路：论文的核心思路是重新审视和调整实证软件工程的研究范式，以适应生成式AI的深度集成。这包括更新研究问题、采用新的研究方法、重新评估数据分析技术，并考虑AI参与对研究有效性的影响。核心在于将AI视为积极的协作者，而非简单的工具。

技术框架：论文并未提出具体的技术框架，而是在概念层面探讨了生成式AI对实证软件工程研究的影响。它强调了对现有研究框架进行反思和调整的必要性，以适应AI驱动的软件开发环境。未来的研究需要开发新的工具和方法来分析AI生成的数据，并评估AI参与对软件质量和开发效率的影响。

关键创新：论文的关键创新在于提出了生成式AI对实证软件工程研究的范式转变。它强调了AI不仅仅是工具，而是积极的协作者，这需要研究人员重新思考研究问题、方法和验证标准。这种范式转变要求研究人员采用跨学科的方法，结合社会科学、计算机科学和人工智能等领域的知识。

关键设计：论文没有涉及具体的技术设计细节，而是侧重于对实证软件工程研究的宏观视角分析。未来的研究需要关注如何设计新的实验，以评估AI参与对软件开发过程的影响，并开发新的指标来衡量AI生成代码的质量和可维护性。此外，还需要研究如何有效地利用AI来辅助软件工程研究，例如自动化数据收集和分析。

📊 实验亮点

该论文是一篇愿景论文，没有具体的实验结果。其亮点在于提出了生成式AI对实证软件工程研究的范式转变，并指出了当前研究面临的挑战和未来的研究方向。它强调了需要重新思考研究问题、方法和验证标准，以适应AI驱动的软件开发环境。

🎯 应用场景

该研究对软件工程教育、工具开发和实践具有重要意义。它可以帮助教育者更好地培养学生适应AI驱动的软件开发环境，指导工具开发者设计更有效的AI辅助工具，并帮助软件工程师更好地利用AI提高开发效率和软件质量。未来的影响包括更智能化的软件开发流程和更强大的AI辅助工具。

📄 摘要（原文）

The adoption of large language models (LLMs) and autonomous agents in software engineering marks an enduring paradigm shift. These systems create new opportunities for tool design, workflow orchestration, and empirical observation, while fundamentally reshaping the roles of developers and the artifacts they produce. Although traditional empirical methods remain central to software engineering research, the rapid evolution of AI introduces new data modalities, alters causal assumptions, and challenges foundational constructs such as "developer", "artifact", and "interaction". As humans and AI agents increasingly co-create, the boundaries between social and technical actors blur, and the reproducibility of findings becomes contingent on model updates and prompt contexts. This vision paper examines how the integration of LLMs into software engineering disrupts established research paradigms. We discuss how it transforms the phenomena we study, the methods and theories we rely on, the data we analyze, and the threats to validity that arise in dynamic AI-mediated environments. Our aim is to help the empirical software engineering community adapt its questions, instruments, and validation standards to a future in which AI systems are not merely tools, but active collaborators shaping software engineering and its study.