LLMs' Reshaping of People, Processes, Products, and Society in Software Development: A Comprehensive Exploration with Early Adopters
作者: Benyamin Tabarsi, Heidi Reichert, Sam Gilson, Ally Limke, Sandeep Kuttal, Tiffany Barnes
分类: cs.SE, cs.AI, cs.HC
发布日期: 2025-03-06 (更新: 2025-11-23)
💡 一句话要点
通过早期采用者访谈，揭示LLM在软件开发中对人员、流程、产品和社会的影响
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 软件开发 经验研究 主题分析 开发者生产力
📋 核心要点
- 现有研究对LLM在软件开发生命周期中的整体影响探索不足，尤其缺乏对开发者、流程、产品和社会层面的综合分析。
- 本研究通过访谈早期采用者，收集经验证据，并进行主题分析，从人员、流程、产品和社会四个维度揭示LLM的影响。
- 研究发现LLM提高了生产力，但也带来了质量挑战，并促使开发者发展新的技能，同时强调了人类判断和基础技能的重要性。
📝 摘要（中文）
大型语言模型（LLM）正在迅速重塑软件开发，但它们在软件开发生命周期中的影响尚未得到充分探索。现有工作主要集中在代码生成或测试等孤立的活动上，对于LLM如何影响开发者、流程、产品和软件生态系统仍存在疑问。本研究通过对16位早期采用者软件专业人士的半结构化访谈来填补这一空白，这些专业人士在2023年初至中期将基于LLM的工具集成到日常工作中。我们将这些访谈视为早期的经验证据，并将参与者的描述与最近关于LLM在软件工程中的工作进行比较，记录哪些早期模式持续存在或发生变化。通过主题分析，我们将研究结果围绕四个维度组织：人员、流程、产品和社会。开发者报告说，通过减少日常任务、简化搜索和加速调试，生产力得到了显著提高，但也描述了一种生产力-质量悖论：他们经常丢弃生成的代码，并将精力从编写转移到批判性地评估和集成代码。LLM的使用高度依赖于阶段，在实现和调试方面有很强的应用，但对需求收集和其他协作工作的影响有限。参与者开发了有效使用LLM的新能力，包括提示工程策略、分层验证和安全集成，以保护专有数据。他们预计招聘期望、团队实践和计算机教育将发生变化，同时强调人类判断和基础软件工程技能仍然至关重要。我们的发现后来在大型定量研究中得到呼应，为希望将LLM负责任地集成到当今软件实践中的开发者、组织、教育工作者和工具设计者提供了可操作的启示。
🔬 方法详解
问题定义：论文旨在解决LLM在软件开发领域带来的影响评估问题。现有研究多集中于代码生成等局部环节，缺乏对开发者、开发流程、产品质量以及社会影响的全面分析。现有方法难以提供关于LLM如何重塑软件开发生态系统的整体图景。
核心思路：论文的核心思路是通过对早期采用LLM工具的软件专业人士进行访谈，收集第一手经验数据，并结合主题分析方法，从人员、流程、产品和社会四个维度系统地分析LLM的影响。这种方法能够捕捉到LLM在实际应用中的复杂性和细微之处。
技术框架：论文采用半结构化访谈方法，选取了16位在2023年初至中期将LLM工具集成到日常工作中的软件专业人士作为研究对象。访谈内容围绕LLM的使用情况、带来的影响、遇到的挑战以及未来的展望展开。收集到的访谈数据随后通过主题分析方法进行编码和归纳，最终形成关于人员、流程、产品和社会四个维度的研究发现。
关键创新：论文的创新之处在于其研究视角和方法。它不是简单地评估LLM在代码生成等方面的性能，而是从更宏观的视角考察LLM对软件开发生态系统的影响。通过访谈早期采用者，论文能够捕捉到LLM在实际应用中的真实情况，并为未来的研究和实践提供有价值的参考。
关键设计：论文的关键设计包括：1) 选择具有代表性的早期采用者作为研究对象；2) 设计半结构化访谈提纲，确保访谈内容涵盖各个关键维度；3) 采用严格的主题分析方法，确保研究结果的可靠性和有效性。
📊 实验亮点
研究发现，LLM显著提高了开发者的生产力，尤其是在减少日常任务、简化搜索和加速调试方面。然而，也存在生产力-质量悖论，开发者需要花费更多精力来评估和集成LLM生成的代码。此外，LLM在实现和调试阶段的应用较为广泛，但在需求收集等协作性任务中的应用相对有限。
🎯 应用场景
该研究成果可应用于指导软件开发组织制定LLM集成策略，优化开发流程，提升产品质量。同时，研究结果对计算机教育具有指导意义，有助于培养适应LLM时代需求的软件人才。此外，该研究也为LLM工具设计者提供了宝贵的反馈，促进LLM工具的持续改进。
📄 摘要（原文）
Large language models (LLMs) are rapidly reshaping software development, but their impact across the software development lifecycle is underexplored. Existing work focuses on isolated activities such as code generation or testing, leaving open questions about how LLMs affect developers, processes, products, and the software ecosystem. We address this gap through semi-structured interviews with sixteen early-adopter software professionals who integrated LLM-based tools into their day-to-day work in early to mid-2023. We treat these interviews as early empirical evidence and compare participants' accounts with recent work on LLMs in software engineering, noting which early patterns persist or shift. Using thematic analysis, we organize findings around four dimensions: people, process, product, and society. Developers reported substantial productivity gains from reducing routine tasks, streamlining search, and accelerating debugging, but also described a productivity-quality paradox: they often discarded generated code and shifted effort from writing to critically evaluating and integrating it. LLM use was highly phase-dependent, with strong uptake in implementation and debugging but limited influence on requirements gathering and other collaborative work. Participants developed new competencies to use LLMs effectively, including prompt engineering strategies, layered verification, and secure integration to protect proprietary data. They anticipated changes in hiring expectations, team practices, and computing education, while emphasizing that human judgment and foundational software engineering skills remain essential. Our findings, later echoed in large-scale quantitative studies, offer actionable implications for developers, organizations, educators, and tool designers seeking to integrate LLMs responsibly into software practice today.