The Impact of LLM-Assistants on Software Developer Productivity: A Systematic Literature Review
作者: Amr Mohamed, Maram Assi, Mariam Guizani
分类: cs.SE, cs.AI, cs.HC
发布日期: 2025-07-03
备注: 37 pages
💡 一句话要点
系统性文献综述揭示LLM助手对软件开发者生产力的影响：收益与风险并存
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: LLM助手 软件开发者生产力 系统性文献综述 软件开发 代码生成
📋 核心要点
- 现有研究缺乏对LLM助手影响软件开发者生产力的全面综合分析，难以有效指导实践。
- 本研究通过系统性文献综述，分析了LLM助手在软件开发中的收益与风险，并识别了关键研究差距。
- 分析发现LLM助手能加速开发、减少代码搜索，但也可能导致认知卸载和团队协作减少，代码质量影响不一。
📝 摘要（中文）
大型语言模型助手（LLM助手）为软件开发带来了新的机遇。开发者们越来越多地在编码、测试、调试、文档编写和设计等任务中使用这些工具。然而，尽管人们对LLM助手的兴趣日益增长，但目前还没有对LLM助手如何影响软件开发者生产力的综合性研究。本文对2014年1月至2024年12月期间发表的37篇同行评议研究进行了系统性文献综述，这些研究考察了LLM助手的影响。我们的分析表明，LLM助手既带来了相当大的好处，也存在关键风险。常见的收益包括减少代码搜索、加速开发以及自动化琐碎和重复性任务。然而，研究也强调了对认知卸载、团队协作减少以及代码质量不一致影响的担忧。虽然大多数研究（92%）通过检查至少两个SPACE维度来采用多维视角，反映了对开发者生产力复杂性的日益认识，但只有14%的研究扩展到三个维度以上，这表明在更综合的评估方面还有很大的空间。满意度、性能和效率是最常被调查的维度，而沟通和活动仍然未被充分探索。大多数研究是探索性的（64%），并且方法多样，但缺乏纵向和团队评估。本综述揭示了关键的研究差距，并为未来的研究和实践提供了建议。与本研究相关的所有工件均可在https://zenodo.org/records/15788502上公开获取。
🔬 方法详解
问题定义：该论文旨在解决的问题是：尽管大型语言模型助手（LLM助手）在软件开发中被广泛应用，但缺乏对其对软件开发者生产力影响的系统性评估。现有研究分散且缺乏综合性，难以全面了解LLM助手的收益与风险，以及它们在不同维度上的影响。现有方法的痛点在于缺乏统一的框架和评估标准，难以进行跨研究的比较和总结。
核心思路：该论文的核心思路是通过系统性文献综述，对已发表的关于LLM助手对软件开发者生产力影响的研究进行收集、筛选、分析和综合。通过对这些研究的维度、方法、结果和结论进行归纳，从而全面了解LLM助手的优势与不足，并识别未来的研究方向。
技术框架：该研究采用系统性文献综述的方法，主要包括以下阶段： 1. 文献检索：在多个数据库中检索相关研究。 2. 文献筛选：根据预定的纳入和排除标准筛选文献。 3. 数据提取：从纳入的文献中提取关键信息，如研究目标、方法、结果和结论。 4. 数据分析：对提取的数据进行定量和定性分析，识别LLM助手对软件开发者生产力的影响模式和趋势。 5. 结果综合：对分析结果进行综合，总结LLM助手的收益与风险，并提出未来的研究建议。
关键创新：该研究的关键创新在于： 1. 首次对LLM助手对软件开发者生产力的影响进行了系统性文献综述，填补了该领域的空白。 2. 采用多维视角（SPACE维度）分析LLM助手的影响，更全面地评估其对开发者生产力的影响。 3. 识别了当前研究的不足之处，并为未来的研究提供了明确的方向。
关键设计：该研究的关键设计包括： 1. 明确的文献检索策略，确保检索到尽可能多的相关研究。 2. 严格的纳入和排除标准，确保纳入的研究质量。 3. 标准化的数据提取表格，确保提取的数据一致性和完整性。 4. 采用SPACE框架对开发者生产力进行多维分析，确保评估的全面性。
🖼️ 关键图片
📊 实验亮点
该研究分析了37篇相关论文，发现LLM助手普遍能减少代码搜索时间并加速开发进程。然而，研究也指出，过度依赖LLM助手可能导致认知卸载，并对团队协作产生负面影响。此外，LLM助手对代码质量的影响并不一致，需要进一步研究。
🎯 应用场景
该研究结果可应用于软件开发团队和组织，帮助他们更好地理解LLM助手的优势与不足，从而制定更有效的工具使用策略，提高开发效率和代码质量。同时，该研究也为LLM助手的开发者提供了反馈，指导他们改进工具设计，更好地满足开发者的需求。
📄 摘要（原文）
Large language model assistants (LLM-assistants) present new opportunities to transform software development. Developers are increasingly adopting these tools across tasks, including coding, testing, debugging, documentation, and design. Yet, despite growing interest, there is no synthesis of how LLM-assistants affect software developer productivity. In this paper, we present a systematic literature review of 37 peer-reviewed studies published between January 2014 and December 2024 that examine this impact. Our analysis reveals that LLM-assistants offer both considerable benefits and critical risks. Commonly reported gains include minimized code search, accelerated development, and the automation of trivial and repetitive tasks. However, studies also highlight concerns around cognitive offloading, reduced team collaboration, and inconsistent effects on code quality. While the majority of studies (92%) adopt a multi-dimensional perspective by examining at least two SPACE dimensions, reflecting increased awareness of the complexity of developer productivity, only 14% extend beyond three dimensions, indicating substantial room for more integrated evaluations. Satisfaction, Performance, and Efficiency are the most frequently investigated dimensions, whereas Communication and Activity remain underexplored. Most studies are exploratory (64%) and methodologically diverse, but lack longitudinal and team-based evaluations. This review surfaces key research gaps and provides recommendations for future research and practice. All artifacts associated with this study are publicly available at https://zenodo.org/records/15788502.