Learning to Code with Context: A Study-Based Approach
作者: Uwe M. Borghoff, Mark Minas, Jannis Schopp
分类: cs.SE, cs.AI
发布日期: 2025-12-04
备注: 36 pages, 7 figures, 5 tables
💡 一句话要点
研究基于上下文感知的AI辅助编程学习方法，提升软件工程教育质量
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: AI辅助编程 软件工程教育 大型语言模型 检索增强生成 上下文感知
📋 核心要点
- 传统软件工程教育未能充分适应生成式AI工具带来的变革，学生缺乏有效利用AI辅助编程的能力。
- 提出一种基于项目上下文感知的AI辅助编程学习方法，通过RAG技术使LLM助手能够理解项目文档和代码。
- 通过用户研究分析学生使用AI工具的模式和挑战，并定性分析了上下文感知LLM助手的行为和局限性。
📝 摘要（中文）
生成式AI工具的快速发展正在改变软件开发的方式。因此，软件工程教育必须进行调整，以确保学生不仅学习传统的开发方法，还要理解如何有意义且负责任地使用这些新技术。特别是，基于项目的课程提供了一个有效的环境，可以探索和评估将AI辅助集成到实际开发实践中。本文介绍了一种在大学编程项目中进行的用户研究，学生们在其中协作开发计算机游戏。该研究调查了参与者在软件开发的不同阶段如何使用生成式AI工具，确定了这些工具最有效的任务类型，并分析了学生遇到的挑战。在此基础上，我们进一步研究了一个具有仓库感知、本地部署的大型语言模型（LLM）助手，旨在提供项目上下文相关的支持。该系统采用检索增强生成（RAG）来将响应建立在相关的文档和源代码之上，从而能够对模型行为、参数敏感性和常见失败模式进行定性分析。这些发现加深了我们对教育软件项目中上下文感知AI支持的理解，并为未来将基于AI的辅助集成到软件工程课程中提供了信息。
🔬 方法详解
问题定义：论文旨在解决软件工程教育中学生如何有效利用生成式AI工具进行编程的问题。现有方法未能充分利用项目上下文信息，导致AI助手提供的建议不够准确和实用，学生在使用过程中面临诸多挑战，例如难以理解AI生成的代码、无法有效调试和集成AI生成的模块等。
核心思路：论文的核心思路是构建一个上下文感知的AI编程助手，该助手能够理解项目的文档、代码和其他相关信息，从而提供更准确、更实用的建议。通过将AI助手与学生的实际项目相结合，可以帮助学生更好地理解和应用AI技术，并培养他们利用AI工具解决实际问题的能力。
技术框架：该系统采用检索增强生成（RAG）框架。首先，系统会检索与当前编程任务相关的项目文档和代码片段。然后，系统将检索到的信息作为上下文输入到大型语言模型（LLM）中，LLM根据上下文生成代码建议或解答学生的问题。该系统还包括一个用户界面，允许学生与AI助手进行交互，并提供反馈。
关键创新：该论文的关键创新在于将RAG技术应用于软件工程教育领域，构建了一个上下文感知的AI编程助手。与传统的AI编程助手相比，该助手能够更好地理解项目的上下文信息，从而提供更准确、更实用的建议。此外，该研究还通过用户研究分析了学生使用AI工具的模式和挑战，为未来改进AI编程助手提供了有价值的见解。
关键设计：该系统的关键设计包括：1) 如何有效地检索与当前编程任务相关的项目文档和代码片段；2) 如何将检索到的信息有效地融入到LLM的输入中；3) 如何设计用户界面，以便学生能够方便地与AI助手进行交互，并提供反馈。论文中没有明确给出参数设置、损失函数、网络结构等具体技术细节，这部分信息未知。
🖼️ 关键图片
📊 实验亮点
该研究通过用户研究发现，学生在使用生成式AI工具时，在代码生成和问题解答方面表现出较高的效率。然而，学生在理解AI生成的代码、调试和集成AI生成的模块方面面临挑战。上下文感知的LLM助手能够提供更准确的建议，但仍存在一些局限性，例如对复杂逻辑的理解不足和对错误代码的纠正能力有限。
🎯 应用场景
该研究成果可应用于软件工程教育、在线编程学习平台和企业内部的AI辅助开发工具。通过提供上下文感知的AI编程助手，可以帮助学生和开发者更高效地学习和开发软件，降低开发成本，提高软件质量。未来，该技术还可以扩展到其他领域，例如文档编写、代码审查和测试等。
📄 摘要（原文）
The rapid emergence of generative AI tools is transforming the way software is developed. Consequently, software engineering education must adapt to ensure that students not only learn traditional development methods but also understand how to meaningfully and responsibly use these new technologies. In particular, project-based courses offer an effective environment to explore and evaluate the integration of AI assistance into real-world development practices. This paper presents our approach and a user study conducted within a university programming project in which students collaboratively developed computer games. The study investigates how participants used generative AI tools throughout different phases of the software development process, identifies the types of tasks where such tools were most effective, and analyzes the challenges students encountered. Building on these insights, we further examine a repository-aware, locally deployed large language model (LLM) assistant designed to provide project-contextualized support. The system employs Retrieval-Augmented Generation (RAG) to ground responses in relevant documentation and source code, enabling qualitative analysis of model behavior, parameter sensitivity, and common failure modes. The findings deepen our understanding of context-aware AI support in educational software projects and inform future integration of AI-based assistance into software engineering curricula.