Prompt-with-Me: in-IDE Structured Prompt Management for LLM-Driven Software Engineering

📄 arXiv: 2509.17096v1 📥 PDF

作者: Ziyou Li, Agnia Sergeyuk, Maliheh Izadi

分类: cs.SE, cs.AI, cs.HC

发布日期: 2025-09-21

备注: Accepted in the 40th IEEE/ACM International Conference on Automated Software Engineering, ASE 2025 (Industry track)

💡 一句话要点

Prompt-with-Me：IDE内结构化提示管理，提升LLM驱动的软件工程效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 提示工程 大型语言模型 软件工程 IDE集成 结构化提示管理

📋 核心要点

  1. 现有软件工程中，LLM提示管理缺乏结构化方法，导致提示难以重用、维护和集成到工业流程中。
  2. Prompt-with-Me通过在IDE中嵌入结构化提示管理系统，自动分类、优化提示，并提取可复用模板，解决上述问题。
  3. 实验表明，LLM能准确分类软件工程提示，用户研究表明该系统具有高可用性、低认知负荷，并能提升提示质量和效率。

📝 摘要（中文）

大型语言模型正在变革软件工程，但实践中的提示管理仍然是临时性的，阻碍了可靠性、重用以及与工业工作流程的集成。本文提出了Prompt-with-Me，一个直接嵌入开发环境的实用结构化提示管理解决方案。该系统使用一个四维分类法自动对提示进行分类，该分类法包括意图、作者角色、软件开发生命周期阶段和提示类型。为了增强提示的重用和质量，Prompt-with-Me建议语言改进，屏蔽敏感信息，并从开发人员的提示库中提取可重用的模板。对1108个真实世界提示的分类学研究表明，现代LLM可以准确地对软件工程提示进行分类。此外，对11名参与者的用户研究表明，开发者接受度很高，具有高可用性（平均SUS=73），低认知负荷（平均NASA-TLX=21），并通过减少重复性工作报告了提示质量和效率的提高。最后，我们为构建下一代软件工程工作流程的提示管理和维护工具提供了可操作的见解。

🔬 方法详解

问题定义：当前，在软件工程领域，虽然大型语言模型（LLM）的应用日益广泛，但针对LLM的提示（Prompt）管理仍然缺乏有效的结构化方法。开发人员通常采用临时性的、分散的方式来创建、存储和使用提示，这导致提示的重用性差、难以维护，并且难以与现有的工业级软件开发工作流程集成。现有的提示管理方法无法满足软件工程对可靠性、可追溯性和可扩展性的需求。

核心思路：Prompt-with-Me的核心思路是在集成开发环境（IDE）中嵌入一个结构化的提示管理系统，该系统能够自动对提示进行分类、优化，并支持从开发人员的提示库中提取可复用的模板。通过对提示进行结构化管理，可以提高提示的质量、可重用性和可维护性，从而提升LLM驱动的软件工程效率。该系统旨在弥合LLM技术与传统软件工程实践之间的差距。

技术框架：Prompt-with-Me的技术框架主要包括以下几个模块：1) 提示分类模块：使用一个四维分类法对提示进行自动分类，包括意图、作者角色、软件开发生命周期阶段和提示类型。2) 提示优化模块：提供语言改进建议，帮助开发人员优化提示的表达，提高LLM的响应质量。3) 敏感信息屏蔽模块：自动检测并屏蔽提示中的敏感信息，确保代码安全。4) 模板提取模块：从开发人员的提示库中提取可复用的模板，方便快速创建新的提示。5) IDE集成模块：将上述模块集成到IDE中，为开发人员提供便捷的提示管理功能。

关键创新：Prompt-with-Me的关键创新在于其结构化的提示管理方法，以及在IDE中直接嵌入提示管理工具。与现有的临时性提示管理方法相比，Prompt-with-Me能够显著提高提示的重用性、可维护性和质量。此外，该系统还能够自动分类提示、优化提示表达，并提取可复用的模板，从而降低开发人员的认知负荷，提高开发效率。

关键设计：四维分类法的具体维度包括：1) 意图：提示的目的，例如代码生成、代码修复、代码解释等。2) 作者角色：提示的创建者，例如开发人员、测试人员、项目经理等。3) 软件开发生命周期阶段：提示的应用阶段，例如需求分析、设计、编码、测试等。4) 提示类型：提示的格式，例如指令、问题、示例等。系统使用预训练的LLM模型进行提示分类，并根据分类结果提供相应的优化建议和模板推荐。用户可以通过IDE界面配置分类规则和模板库。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

对1108个真实世界提示的分类学研究表明，现代LLM可以准确地对软件工程提示进行分类。用户研究表明，Prompt-with-Me具有高可用性（平均SUS=73），低认知负荷（平均NASA-TLX=21），并通过减少重复性工作报告了提示质量和效率的提高。

🎯 应用场景

Prompt-with-Me可应用于各种LLM驱动的软件工程场景，例如代码生成、代码审查、缺陷修复、文档生成等。通过提高提示的质量和可重用性，可以显著提升软件开发效率，降低开发成本。该研究为构建下一代软件工程工作流程的提示管理和维护工具奠定了基础，并有望推动LLM在软件工程领域的更广泛应用。

📄 摘要（原文）

Large Language Models are transforming software engineering, yet prompt management in practice remains ad hoc, hindering reliability, reuse, and integration into industrial workflows. We present Prompt-with-Me, a practical solution for structured prompt management embedded directly in the development environment. The system automatically classifies prompts using a four-dimensional taxonomy encompassing intent, author role, software development lifecycle stage, and prompt type. To enhance prompt reuse and quality, Prompt-with-Me suggests language refinements, masks sensitive information, and extracts reusable templates from a developer's prompt library. Our taxonomy study of 1108 real-world prompts demonstrates that modern LLMs can accurately classify software engineering prompts. Furthermore, our user study with 11 participants shows strong developer acceptance, with high usability (Mean SUS=73), low cognitive load (Mean NASA-TLX=21), and reported gains in prompt quality and efficiency through reduced repetitive effort. Lastly, we offer actionable insights for building the next generation of prompt management and maintenance tools for software engineering workflows.