Why you shouldn't fully trust ChatGPT: A synthesis of this AI tool's error rates across disciplines and the software engineering lifecycle
作者: Vahid Garousi
分类: cs.SE, cs.AI
发布日期: 2025-04-26
💡 一句话要点
量化ChatGPT在多领域及软件工程生命周期中的错误率，揭示其可靠性局限
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 ChatGPT 错误率分析 软件工程生命周期 多领域应用
📋 核心要点
- 现有大型语言模型在各领域应用广泛，但其可靠性，尤其是错误率，引发了广泛关注，需要系统性评估。
- 本研究通过多声部文献综述，量化分析ChatGPT在不同领域和软件工程生命周期阶段的错误率，揭示其能力边界。
- 研究发现ChatGPT的错误率因领域、任务和模型版本而异，强调在关键应用中进行人工监督和验证的重要性。
📝 摘要（中文）
ChatGPT等大型语言模型（LLM）在医疗、商业、经济、工程和软件工程（SE）等领域被广泛应用。尽管它们很受欢迎，但对其可靠性的担忧依然存在，尤其是在不同领域和软件开发生命周期（SDLC）中的错误率。本研究综合并量化了ChatGPT在主要领域和与SDLC阶段相关的SE任务中的报告错误率。它提供了基于证据的视角，展示了ChatGPT的优势、不足以及可靠性如何随任务、领域和模型版本（GPT-3.5、GPT-4、GPT-4-turbo、GPT-4o）而变化。采用多声部文献综述（MLR）方法，收集了截至2025年的学术研究、报告、基准和灰色文献中的数据。考虑了事实、推理、编码和解释错误。数据按领域和SE阶段分组，并使用箱线图可视化以显示错误分布。结果表明，错误率因领域和版本而异。在医疗保健领域，错误率范围为8%到83%。商业和经济领域的错误率从GPT-3.5的约50%降至GPT-4的15-20%。工程任务的平均错误率为20-30%。编程成功率达到87.5%，但复杂的调试仍然显示超过50%的错误。在SE中，需求和设计阶段的错误率较低（约5-20%），而编码、测试和维护阶段的错误率变化较大（10-50%）。从GPT-3.5升级到GPT-4提高了可靠性。结论是，尽管有所改进，ChatGPT仍然表现出不可忽略的错误率，且错误率因领域、任务和SDLC阶段而异。在没有人工监督的情况下完全依赖ChatGPT仍然存在风险，尤其是在关键环境中。持续评估和批判性验证对于确保可靠性和可信度至关重要。
🔬 方法详解
问题定义：论文旨在解决ChatGPT等大型语言模型在不同领域和软件工程生命周期（SDLC）中应用时，其可靠性评估和错误率量化的问题。现有方法缺乏对不同任务和领域错误率的系统性分析，难以指导实际应用中的风险控制。
核心思路：论文的核心思路是通过多声部文献综述（MLR），系统性地收集和分析现有研究中关于ChatGPT错误率的数据，并按领域、SDLC阶段和模型版本进行分类和可视化，从而揭示其可靠性差异。
技术框架：该研究采用多声部文献综述（MLR）作为主要方法。MLR流程包括： 1. 文献检索：从学术数据库、报告、基准测试和灰色文献中收集相关研究。 2. 数据提取：从收集到的文献中提取关于ChatGPT错误率的数据，包括错误类型（事实、推理、编码、解释错误）、领域、SDLC阶段和模型版本。 3. 数据分类：将提取的数据按领域（医疗、商业、经济、工程、软件工程）、SDLC阶段（需求、设计、编码、测试、维护）和模型版本（GPT-3.5、GPT-4、GPT-4-turbo、GPT-4o）进行分类。 4. 数据可视化：使用箱线图等方法可视化不同类别下的错误率分布，以便于比较和分析。
关键创新：该研究的关键创新在于其系统性和全面性。它不仅涵盖了多个领域，还考虑了软件工程的整个生命周期，并分析了不同模型版本的性能差异。通过量化错误率，为用户提供了更客观的参考，避免了过度信任或盲目否定。
关键设计：研究的关键设计包括： * 错误类型分类：区分事实错误、推理错误、编码错误和解释错误，有助于更细致地分析错误来源。 * 领域和SDLC阶段划分：按领域和SDLC阶段对数据进行分类，可以揭示ChatGPT在不同应用场景下的可靠性差异。 * 模型版本比较：对比不同模型版本的错误率，可以评估模型升级带来的改进。
📊 实验亮点
研究结果表明，ChatGPT的错误率因领域和版本而异。在医疗保健领域，错误率范围为8%到83%。商业和经济领域的错误率从GPT-3.5的约50%降至GPT-4的15-20%。工程任务的平均错误率为20-30%。编程成功率达到87.5%，但复杂的调试仍然显示超过50%的错误。在软件工程中，需求和设计阶段的错误率较低（约5-20%），而编码、测试和维护阶段的错误率变化较大（10-50%）。
🎯 应用场景
该研究成果可应用于指导各行业对ChatGPT等LLM的合理使用，尤其是在医疗、金融等高风险领域。通过了解不同任务和领域的错误率，用户可以采取相应的风险控制措施，例如人工复核、多模型验证等，从而提高决策的可靠性和安全性。研究结果也为LLM的持续改进提供了方向。
📄 摘要（原文）
Context: ChatGPT and other large language models (LLMs) are widely used across healthcare, business, economics, engineering, and software engineering (SE). Despite their popularity, concerns persist about their reliability, especially their error rates across domains and the software development lifecycle (SDLC). Objective: This study synthesizes and quantifies ChatGPT's reported error rates across major domains and SE tasks aligned with SDLC phases. It provides an evidence-based view of where ChatGPT excels, where it fails, and how reliability varies by task, domain, and model version (GPT-3.5, GPT-4, GPT-4-turbo, GPT-4o). Method: A Multivocal Literature Review (MLR) was conducted, gathering data from academic studies, reports, benchmarks, and grey literature up to 2025. Factual, reasoning, coding, and interpretive errors were considered. Data were grouped by domain and SE phase and visualized using boxplots to show error distributions. Results: Error rates vary across domains and versions. In healthcare, rates ranged from 8% to 83%. Business and economics saw error rates drop from ~50% with GPT-3.5 to 15-20% with GPT-4. Engineering tasks averaged 20-30%. Programming success reached 87.5%, though complex debugging still showed over 50% errors. In SE, requirements and design phases showed lower error rates (~5-20%), while coding, testing, and maintenance phases had higher variability (10-50%). Upgrades from GPT-3.5 to GPT-4 improved reliability. Conclusion: Despite improvements, ChatGPT still exhibits non-negligible error rates varying by domain, task, and SDLC phase. Full reliance without human oversight remains risky, especially in critical settings. Continuous evaluation and critical validation are essential to ensure reliability and trustworthiness.