Taking a Pulse on How Generative AI is Reshaping the Software Engineering Research Landscape

📄 arXiv: 2604.11184v1 📥 PDF

作者: Bianca Trinkenreich, Fabio Calefato, Kelly Blincoe, Viggo Tellefsen Wivestad, Antonio Pedro Santos Alves, Júlia Condé Araújo, Marina Condé Araújo, Paolo Tell, Marcos Kalinowski, Thomas Zimmermann, Margaret-Anne Storey

分类: cs.SE, cs.AI

发布日期: 2026-04-13

💡 一句话要点

大规模调研揭示生成式AI对软件工程研究的重塑：使用、影响与治理

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 生成式AI 软件工程研究 问卷调查 研究实践 治理 风险评估 学术伦理

📋 核心要点

  1. 软件工程研究面临生成式AI快速发展带来的机遇与挑战，但缺乏对其使用情况和影响的系统性实证研究。
  2. 本文通过大规模调研，深入分析生成式AI在软件工程研究中的应用、研究人员的看法以及潜在的风险与治理需求。
  3. 研究结果揭示了生成式AI在写作和早期阶段活动中的广泛应用，并强调了人工监督和明确治理的重要性。

📝 摘要（中文）

本文对2023年至2025年顶级会议上发表论文的457名软件工程(SE)研究人员进行了大规模调查，旨在研究生成式AI(GenAI)在SE研究中的使用情况及其对研究实践和治理的影响。通过定量和定性分析，考察了GenAI的使用者、使用原因、在研究活动中的应用范围，以及研究人员对其益处、机遇、挑战、风险和治理的看法。结果表明，GenAI的使用非常普遍，许多研究人员表示有采用并使其工作与之对齐的压力。使用集中在写作和早期阶段活动，而方法论和分析任务主要仍由人工驱动。尽管生产力提升被广泛认可，但对信任、正确性和监管不确定性的担忧依然存在。研究人员强调了不准确和偏见等风险，强调通过人工监督和验证进行缓解，并呼吁更明确的治理，包括负责任使用和同行评审的指导。结论是，本文提供了GenAI在研究活动中使用的细粒度、SE特定的表征，以及GenAI在研究和同行评审中的用例、机遇、风险、缓解策略和治理需求的分类，为负责任地将GenAI整合到学术实践中奠定了经验基础。

🔬 方法详解

问题定义：软件工程研究人员越来越多地使用生成式AI，但对其在研究中的实际应用、影响以及治理机制缺乏充分的了解。现有研究未能提供细粒度的、特定于软件工程领域的分析，无法有效指导生成式AI的负责任使用。

核心思路：通过大规模问卷调查，收集软件工程研究人员关于生成式AI使用情况、看法和经验的数据。然后，采用定量和定性分析方法，对数据进行深入挖掘，识别生成式AI在不同研究活动中的应用模式、潜在的机遇与风险，以及治理需求。

技术框架：该研究采用问卷调查方法，主要分为以下几个阶段： 1. 问卷设计：设计包含生成式AI使用情况、看法、风险和治理等问题的问卷。 2. 数据收集：向在顶级软件工程会议上发表论文的研究人员发送问卷。 3. 数据分析：对收集到的数据进行定量和定性分析，识别关键趋势和模式。 4. 结果总结：总结分析结果，提出关于生成式AI在软件工程研究中负责任使用的建议。

关键创新：该研究的主要创新在于： 1. 大规模：对457名软件工程研究人员进行调查，样本量大，结果更具代表性。 2. 细粒度：深入分析生成式AI在不同研究活动中的应用，提供了细粒度的洞察。 3. 领域特定：专注于软件工程领域，分析结果更具针对性，能更好地指导该领域的研究实践。

关键设计：问卷设计是该研究的关键。问卷问题涵盖了生成式AI的使用频率、用途、带来的好处、存在的风险以及对治理的需求等多个方面。此外，研究人员还采用了开放式问题，鼓励受访者分享他们的经验和看法，从而获得更丰富的定性数据。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

调查显示，生成式AI在软件工程研究中应用广泛，尤其是在写作和早期阶段活动中。研究人员普遍认为生成式AI可以提高生产力，但也对其准确性、偏见和监管不确定性表示担忧。研究强调了人工监督和验证的重要性，并呼吁建立更明确的治理机制。

🎯 应用场景

该研究成果可应用于指导软件工程研究人员负责任地使用生成式AI，提高研究效率和质量。同时，为学术机构和期刊制定相关政策和指南提供参考，促进生成式AI在学术界的健康发展。研究结果还有助于开发更适合软件工程研究的生成式AI工具。

📄 摘要（原文）

Context: Software engineering (SE) researchers increasingly study Generative AI (GenAI) while also incorporating it into their own research practices. Despite rapid adoption, there is limited empirical evidence on how GenAI is used in SE research and its implications for research practices and governance. Aims: We conduct a large-scale survey of 457 SE researchers publishing in top venues between 2023 and 2025. Method: Using quantitative and qualitative analyses, we examine who uses GenAI and why, where it is used across research activities, and how researchers perceive its benefits, opportunities, challenges, risks, and governance. Results: GenAI use is widespread, with many researchers reporting pressure to adopt and align their work with it. Usage is concentrated in writing and early-stage activities, while methodological and analytical tasks remain largely human-driven. Although productivity gains are widely perceived, concerns about trust, correctness, and regulatory uncertainty persist. Researchers highlight risks such as inaccuracies and bias, emphasize mitigation through human oversight and verification, and call for clearer governance, including guidance on responsible use and peer review. Conclusion: We provide a fine-grained, SE-specific characterization of GenAI use across research activities, along with taxonomies of GenAI use cases for research and peer review, opportunities, risks, mitigation strategies, and governance needs. These findings establish an empirical baseline for the responsible integration of GenAI into academic practice.