Beyond Code: The Multidimensional Impacts of Large Language Models in Software Development

📄 arXiv: 2506.22704v2 📥 PDF

作者: Sardar Bonabi, Sarah Bana, Vijay Gurbaxani, Tingting Nian

分类: econ.GN, cs.AI

发布日期: 2025-06-28 (更新: 2025-07-01)

💡 一句话要点

利用ChatGPT禁令的自然实验，量化LLM对开源软件开发者生产力、知识共享和技能提升的多维影响。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 开源软件开发 自然实验 差分法 生产力提升 知识共享 技能获取

📋 核心要点

  1. 现有研究缺乏对LLM在开源软件开发中多维度影响的全面量化分析，尤其是在知识共享和技能提升方面。
  2. 利用ChatGPT禁令作为自然实验，采用双向固定效应的差分法，量化LLM对开发者生产力、知识共享和技能提升的影响。
  3. 研究发现LLM显著提升开发者生产力（6.4%）、知识共享（9.6%）和技能获取（8.4%），且效果因开发者经验水平和上下文而异。

📝 摘要（中文）

大型语言模型（LLMs）有望显著影响软件开发，尤其是在开源软件（OSS）领域。为了理解这种影响，我们首先概述了LLMs可能通过代码开发、协作知识转移和技能发展影响OSS的机制。然后，我们实证研究了LLMs如何在这些关键领域影响OSS开发者的工作。利用意大利临时禁止ChatGPT的自然实验，我们采用双向固定效应的差分法，分析了GitHub上意大利、法国和葡萄牙三个相似国家的所有OSS开发者的数据，总计88,022名用户。我们发现，使用ChatGPT可使开发者的生产力提高6.4%，知识共享提高9.6%，技能获取提高8.4%。这些收益因用户经验水平而异：新手开发者主要体验到生产力提升，而更有经验的开发者则更多地受益于改进的知识共享和加速的技能获取。此外，我们发现LLM辅助学习高度依赖于上下文，在技术复杂、分散或快速发展的环境中观察到最大的收益。我们表明，LLMs的生产力效应不仅限于直接的代码生成，还包括增强开发者之间的协作学习和知识交流，这些动态对于全面理解LLMs在OSS中的影响至关重要。我们的研究结果提供了重要的管理启示：战略性地部署LLMs可以加速新手开发者的入职和生产力，使中级开发者能够促进知识共享和协作，并支持快速的技能获取，从而提高长期的组织生产力和敏捷性。

🔬 方法详解

问题定义：论文旨在量化大型语言模型（LLMs）对开源软件（OSS）开发者在生产力、知识共享和技能提升三个关键维度上的影响。现有方法通常侧重于LLM的代码生成能力，而忽略了其在协作学习和知识交流中的作用，并且缺乏对不同经验水平开发者差异化影响的分析。

核心思路：论文的核心思路是利用意大利临时禁止ChatGPT这一自然实验，将意大利开发者作为实验组，法国和葡萄牙开发者作为对照组，采用差分法（Difference-in-Differences）来估计LLM对OSS开发者各项指标的因果效应。这种方法能够有效控制混淆因素，从而更准确地评估LLM的影响。

技术框架：论文的技术框架主要包括以下几个阶段：1) 数据收集：从GitHub收集意大利、法国和葡萄牙三个国家OSS开发者的活动数据，包括代码提交、协作互动等。2) 自然实验设计：利用意大利ChatGPT禁令作为外生冲击。3) 差分法模型构建：构建双向固定效应的差分法模型，以估计LLM对开发者生产力、知识共享和技能提升的影响。4) 异质性分析：分析LLM对不同经验水平开发者以及不同技术复杂度项目的影响差异。

关键创新：论文的关键创新在于：1) 利用自然实验设计，更可靠地估计LLM的因果效应。2) 关注LLM在知识共享和技能提升方面的作用，超越了传统的代码生成视角。3) 进行了细致的异质性分析，揭示了LLM对不同开发者和不同情境的差异化影响。

关键设计：论文的关键设计包括：1) 选择意大利、法国和葡萄牙作为研究对象，因为它们在文化和经济上具有相似性，有助于减少混淆因素。2) 使用双向固定效应模型，控制了时间和个体层面的固定效应。3) 采用多种指标来衡量开发者生产力、知识共享和技能提升，例如代码提交量、协作互动频率和新技能掌握程度。4) 针对不同经验水平的开发者，分别分析LLM的影响，并考察技术复杂度对LLM效果的调节作用。

📊 实验亮点

研究发现，使用ChatGPT使开发者的生产力提高6.4%，知识共享提高9.6%，技能获取提高8.4%。新手开发者主要体验到生产力提升，而更有经验的开发者则更多地受益于改进的知识共享和加速的技能获取。LLM辅助学习在技术复杂、分散或快速发展的环境中收益最大。

🎯 应用场景

该研究成果可应用于指导企业和开源社区战略性地部署LLMs，以加速新手开发者的入职，促进知识共享和协作，并支持快速的技能获取。此外，该研究也为政策制定者提供了参考，以更好地理解和管理LLMs对软件开发生态系统的影响。

📄 摘要（原文）

Large language models (LLMs) are poised to significantly impact software development, especially in the Open-Source Software (OSS) sector. To understand this impact, we first outline the mechanisms through which LLMs may influence OSS through code development, collaborative knowledge transfer, and skill development. We then empirically examine how LLMs affect OSS developers' work in these three key areas. Leveraging a natural experiment from a temporary ChatGPT ban in Italy, we employ a Difference-in-Differences framework with two-way fixed effects to analyze data from all OSS developers on GitHub in three similar countries, Italy, France, and Portugal, totaling 88,022 users. We find that access to ChatGPT increases developer productivity by 6.4%, knowledge sharing by 9.6%, and skill acquisition by 8.4%. These benefits vary significantly by user experience level: novice developers primarily experience productivity gains, whereas more experienced developers benefit more from improved knowledge sharing and accelerated skill acquisition. In addition, we find that LLM-assisted learning is highly context-dependent, with the greatest benefits observed in technically complex, fragmented, or rapidly evolving contexts. We show that the productivity effects of LLMs extend beyond direct code generation to include enhanced collaborative learning and knowledge exchange among developers, dynamics that are essential for gaining a holistic understanding of LLMs' impact in OSS. Our findings offer critical managerial implications: strategically deploying LLMs can accelerate novice developers' onboarding and productivity, empower intermediate developers to foster knowledge sharing and collaboration, and support rapid skill acquisition, together enhancing long-term organizational productivity and agility.