Getting Inspiration for Feature Elicitation: App Store- vs. LLM-based Approach
作者: Jialiang Wei, Anne-Lise Courbis, Thomas Lambolais, Binbin Xu, Pierre Louis Bernard, Gérard Dray, Walid Maalej
分类: cs.SE, cs.AI
发布日期: 2024-08-30
备注: To Appear In Proceedings of 39th IEEE/ACM International Conference on Automated Software Engineering (ASE 2024)
💡 一句话要点
对比AppStore与LLM，为特征启发式获取提供洞见，揭示各自优劣与适用场景。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 特征启发式 需求获取 大型语言模型 应用商店 软件开发
📋 核心要点
- 传统应用商店启发式需求获取方法依赖于人工探索，效率较低，且可能受限于开发者自身经验。
- 论文对比研究了AppStore和LLM两种方法在子功能推荐上的表现，旨在揭示其差异与适用场景。
- 实验结果表明，LLM在处理新颖场景时更具优势，但同时也存在可行性问题，需要人工干预。
📝 摘要（中文）
过去十年，受应用商店（AppStore）启发的的需求获取已被证明非常有益。开发者经常探索竞争对手的应用程序，以获取新功能的灵感。随着生成式人工智能的进步，最近的研究表明，基于大型语言模型（LLM）的需求获取也具有潜力。LLM可以通过为新功能创意提供灵感来协助此过程。虽然这两种方法在实践中都越来越受欢迎，但缺乏对其差异的深入了解。我们报告了一项比较研究，该研究比较了基于AppStore和基于LLM的方法，用于将功能细化为子功能。通过手动分析这两种方法推荐的1200个子功能，我们确定了它们的优势、挑战和关键差异。虽然这两种方法都推荐了具有清晰描述的高度相关的子功能，但LLM在涉及新颖的、未见过的应用程序范围时似乎更强大。此外，一些推荐的功能是虚构的，可行性不明确，这表明了人工分析师在获取循环中的重要性。
🔬 方法详解
问题定义：论文旨在解决软件开发过程中特征启发式获取的问题，即如何更有效地发现和细化新功能。现有方法，如依赖应用商店搜索，存在效率低、覆盖范围有限等问题。大型语言模型（LLM）的出现为该问题提供了新的解决思路，但LLM与传统方法相比，其优劣势尚不明确。
核心思路：论文的核心思路是通过对比分析AppStore和LLM两种方法在子功能推荐上的表现，从而揭示它们的优势、挑战和关键差异。通过定量和定性的分析，为开发者选择合适的特征启发式获取方法提供指导。
技术框架：论文采用实验研究的方法。首先，使用AppStore和LLM两种方法生成子功能推荐。然后，人工分析这些推荐的子功能，从相关性、描述清晰度、新颖性、可行性等方面进行评估。最后，对比分析两种方法的评估结果，总结它们的优势和劣势。
关键创新：论文的关键创新在于首次系统性地对比了AppStore和LLM两种特征启发式获取方法。通过实验分析，揭示了LLM在处理新颖场景时的优势，以及其在可行性方面存在的不足。该研究为开发者选择合适的特征启发式获取方法提供了重要的参考依据。
关键设计：论文的关键设计包括：1) 精心设计的实验流程，确保两种方法的可比性；2) 详细的人工分析方案，从多个维度评估子功能推荐的质量；3) 深入的对比分析，揭示两种方法的本质差异。
🖼️ 关键图片
📊 实验亮点
研究通过人工分析1200个子功能，发现LLM在推荐具有清晰描述的高度相关子功能方面与AppStore方法相当，但在处理新颖的、未见过的应用程序范围时表现出更强的能力。同时，研究也指出LLM推荐的部分功能可能缺乏可行性，需要人工干预。
🎯 应用场景
该研究成果可应用于软件开发的需求分析阶段，帮助开发者更高效地获取新功能灵感，提升软件产品的创新性。尤其是在面对全新或不熟悉的领域时，LLM可以作为有力的辅助工具。同时，研究结果也提醒开发者，在使用LLM进行需求获取时，需要进行人工审核，以确保推荐功能的可行性。
📄 摘要（原文）
Over the past decade, app store (AppStore)-inspired requirements elicitation has proven to be highly beneficial. Developers often explore competitors' apps to gather inspiration for new features. With the advance of Generative AI, recent studies have demonstrated the potential of large language model (LLM)-inspired requirements elicitation. LLMs can assist in this process by providing inspiration for new feature ideas. While both approaches are gaining popularity in practice, there is a lack of insight into their differences. We report on a comparative study between AppStore- and LLM-based approaches for refining features into sub-features. By manually analyzing 1,200 sub-features recommended from both approaches, we identified their benefits, challenges, and key differences. While both approaches recommend highly relevant sub-features with clear descriptions, LLMs seem more powerful particularly concerning novel unseen app scopes. Moreover, some recommended features are imaginary with unclear feasibility, which suggests the importance of a human-analyst in the elicitation loop.