ReqFusion: A Multi-Provider Framework for Automated PEGS Analysis Across Software Domains
作者: Muhammad Khalid, Manuel Oriol, Yilmaz Uygun
分类: cs.SE, cs.AI
发布日期: 2026-03-24
备注: 17 pages, 6 figures, 7 tables. Accepted at VerifAI-2026 Workshop, co-located with ETAPS 2026
💡 一句话要点
ReqFusion:一个多LLM供应商框架,用于跨软件领域自动化PEGS需求分析
🎯 匹配领域: 支柱九:具身大模型 (Embodied Foundation Models)
关键词: 需求工程 大型语言模型 自动化分析 多模型集成 PEGS框架
📋 核心要点
- 软件需求工程是软件开发的关键阶段,但现有方法劳动强度大,效率低。
- ReqFusion利用多LLM供应商和PEGS框架,自动化需求提取、分类和分析,提升效率。
- 实验表明,ReqFusion显著提高了需求提取的准确性,并将分析时间减少了78%。
📝 摘要(中文)
本文介绍ReqFusion,一个AI增强系统,它利用多个大型语言模型(LLM)供应商来自动化软件需求的提取、分类和分析。ReqFusion的架构集成了OpenAI GPT、Anthropic Claude和Groq模型,从学术、工业和投标建议书等各种文档格式(PDF、DOCX和PPTX)中提取功能和非功能需求。该系统采用领域无关的提取方法,并按照Bertrand Meyer提出的项目、环境、目标和系统(PEGS)方法生成需求。核心思想是,由于PEGS格式非常详细,LLM可以获得更多关于需求的提示信息,从而产生比简单通用请求更好的结果。消融研究证实了这一假设:在相同的多供应商配置下,PEGS引导的提示实现了0.88的F1分数,而通用提示为0.71。评估使用了18个真实文档,通过自动分类生成了226个需求,其中54.9%为功能性需求,45.1%为非功能性需求,涵盖学术、商业和技术领域。对五个项目共1050个需求的扩展评估表明,提取准确性得到了显著提高,分析时间比手动方法减少了78%。多供应商架构通过模型共识和回退机制增强了可靠性,而基于PEGS的方法确保了对所有需求类别的全面覆盖。
🔬 方法详解
问题定义:论文旨在解决软件需求工程中人工提取、分类和分析需求耗时且容易出错的问题。现有方法依赖人工,效率低下,且难以保证需求覆盖的全面性。此外,通用的大语言模型在直接处理需求提取任务时,效果并不理想,缺乏针对性和准确性。
核心思路:论文的核心思路是利用多LLM供应商的优势,结合PEGS(Project, Environment, Goal, System)框架,通过详细的提示工程,引导LLM更准确地提取和分类需求。多LLM供应商的集成可以提高系统的鲁棒性和可靠性,PEGS框架则提供了更结构化的需求描述,从而提升LLM的理解能力。
技术框架:ReqFusion的整体架构包含以下几个主要模块:1) 文档解析模块,负责从各种文档格式(PDF、DOCX、PPTX)中提取文本内容;2) 需求提取模块,利用集成的多个LLM(OpenAI GPT, Anthropic Claude, Groq)和PEGS提示工程,从文本中提取需求;3) 需求分类模块,将提取的需求分类为功能性需求和非功能性需求;4) 模型共识与回退模块,通过模型投票或回退机制,提高系统的可靠性。
关键创新:论文最重要的技术创新点在于将多LLM供应商架构与PEGS框架相结合,用于自动化需求分析。与传统的单模型方法相比,多LLM供应商架构提高了系统的鲁棒性和准确性。与通用提示工程相比,PEGS框架提供了更结构化的需求描述,从而提升了LLM的理解能力。
关键设计:PEGS框架是关键设计之一,它将需求分解为项目、环境、目标和系统四个维度,为LLM提供了更详细的上下文信息。此外,模型共识与回退机制也是关键设计,它通过模型投票或回退到更可靠的模型,提高了系统的整体可靠性。具体的参数设置和损失函数等技术细节论文中未明确说明。
📊 实验亮点
实验结果表明,ReqFusion在需求提取方面取得了显著的性能提升。在相同的多供应商配置下,PEGS引导的提示实现了0.88的F1分数,而通用提示为0.71。对五个项目共1050个需求的扩展评估表明,提取准确性得到了显著提高,分析时间比手动方法减少了78%。这些结果表明,ReqFusion在实际应用中具有很高的价值。
🎯 应用场景
ReqFusion可应用于软件开发的各个阶段,尤其是在需求工程阶段,可以显著提高需求提取和分析的效率和准确性。该系统还可以应用于投标书分析、项目规划等领域,帮助快速识别和理解关键需求。未来,ReqFusion可以扩展到支持更多领域和语言,并与其他软件开发工具集成,实现更全面的自动化。
📄 摘要(原文)
Requirements engineering is a vital, yet labor-intensive, stage in the software development process. This article introduces ReqFusion: an AI-enhanced system that automates the extraction, classification, and analysis of software requirements utilizing multiple Large Language Model (LLM) providers. The architecture of ReqFusion integrates OpenAI GPT, Anthropic Claude, and Groq models to extract functional and non-functional requirements from various documentation formats (PDF, DOCX, and PPTX) in academic, industrial, and tender proposal contexts. The system uses a domain-independent extraction method and generates requirements following the Project, Environment, Goal, and System (PEGS) approach introduced by Bertrand Meyer. The main idea is that, because the PEGS format is detailed, LLMs have more information and cues about the requirements, producing better results than a simple generic request. An ablation study confirms this hypothesis: PEGS-guided prompting achieves an F1 score of 0.88, compared to 0.71 for generic prompting under the same multi-provider configuration. The evaluation used 18 real-world documents to generate 226 requirements through automated classification, with 54.9% functional and 45.1% nonfunctional across academic, business, and technical domains. An extended evaluation on five projects with 1,050 requirements demonstrated significant improvements in extraction accuracy and a 78% reduction in analysis time compared to manual methods. The multi-provider architecture enhances reliability through model consensus and fallback mechanisms, while the PEGS-based approach ensures comprehensive coverage of all requirement categories.