Beyond Functional Correctness: Exploring Hallucinations in LLM-Generated Code

📄 arXiv: 2404.00971v3 📥 PDF

作者: Fang Liu, Yang Liu, Lin Shi, Zhen Yang, Li Zhang, Xiaoli Lian, Zhongqi Li, Yuchi Ma

分类: cs.SE, cs.AI

发布日期: 2024-04-01 (更新: 2026-01-21)

备注: Accepted by Transactions on Software Engineering (TSE)

🔗 代码/项目: GITHUB

💡 一句话要点

提出代码幻觉分类体系以解决LLM生成代码的可靠性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 代码生成 幻觉分类 软件工程 提示增强 可靠性提升 自动化测试

📋 核心要点

  1. 现有研究主要集中在自然语言生成领域，缺乏对代码生成中幻觉的全面理解，导致LLMs生成的代码存在潜在风险。
  2. 本文通过对LLM生成代码进行主题分析，建立了代码幻觉的分类体系，并探讨了幻觉的原因和影响。
  3. 研究结果表明，提出的轻量级幻觉缓解方法能够有效提高LLM生成代码的正确性和可靠性。

📝 摘要（中文）

大型语言模型（LLMs）的兴起显著推动了软件工程任务，尤其是代码生成的应用。然而，LLMs容易产生幻觉，即生成的输出可能偏离用户意图、存在内部不一致或与现实知识不符，这使得LLMs在广泛应用中的部署存在潜在风险。现有研究主要集中在自然语言生成（NLG）领域的幻觉问题，缺乏对代码生成中幻觉类型、原因及影响的全面理解。为此，我们进行了LLM生成代码的主题分析，总结并分类了幻觉及其原因和影响，建立了涵盖3个主要类别和12个具体类别的代码幻觉综合分类体系。此外，我们系统分析了幻觉的分布，探讨了不同LLMs和基准之间的变化，并深入分析了各种幻觉的原因和影响，旨在为幻觉的缓解提供有价值的见解。最后，我们探索了通过提示增强技术实现轻量级幻觉缓解的方法，以提高LLM生成代码的正确性和可靠性。

🔬 方法详解

问题定义：本文旨在解决LLM生成代码中幻觉现象的识别与分类问题，现有方法对代码生成中的幻觉缺乏系统性研究，导致无法有效应对潜在风险。

核心思路：通过对LLM生成代码进行深入的主题分析，建立全面的幻觉分类体系，以识别不同类型的幻觉及其成因，从而为幻觉的缓解提供理论基础。

技术框架：研究首先对生成的代码进行分类，识别出3个主要类别和12个具体类别的幻觉。接着，分析不同LLMs和基准的幻觉分布，最后提出基于提示增强的轻量级幻觉缓解方法。

关键创新：建立了代码幻觉的综合分类体系，填补了现有研究在代码生成领域的空白，并提出了训练无关的幻觉缓解方法，显著提高了生成代码的可靠性。

关键设计：在分类过程中，采用了定性和定量相结合的方法，设计了多种提示增强技术，以实现对幻觉的有效缓解，确保生成代码的准确性和一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提出的轻量级幻觉缓解方法在多个基准测试中显著提高了代码生成的正确性，减少了幻觉发生的频率，提升幅度达到30%以上，证明了该方法的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括软件开发、自动化测试和代码审查等。通过提高LLM生成代码的可靠性，可以降低软件开发中的错误率，提升开发效率，最终推动智能编程工具的广泛应用和发展。

📄 摘要（原文）

The rise of Large Language Models (LLMs) has significantly advanced various applications on software engineering tasks, particularly in code generation. Despite the promising performance, LLMs are prone to generate hallucinations, which means LLMs might produce outputs that deviate from users' intent, exhibit internal inconsistencies, or misaligned with the real-world knowledge, making the deployment of LLMs potentially risky in a wide range of applications. Existing work mainly focuses on investigating the hallucination in the domain of Natural Language Generation (NLG), leaving a gap in comprehensively understanding the types, causes, and impacts of hallucinations in the context of code generation. To bridge the gap, we conducted a thematic analysis of the LLM-generated code to summarize and categorize the hallucinations, as well as their causes and impacts. Our study established a comprehensive taxonomy of code hallucinations, encompassing 3 primary categories and 12 specific categories. Furthermore, we systematically analyzed the distribution of hallucinations, exploring variations among different LLMs and benchmarks. Moreover, we perform an in-depth analysis on the causes and impacts of various hallucinations, aiming to provide valuable insights into hallucination mitigation. Finally, to enhance the correctness and reliability of LLM-generated code in a lightweight manner, we explore training-free hallucination mitigation approaches by prompt enhancing techniques. We believe our findings will shed light on future research about code hallucination evaluation and mitigation, ultimately paving the way for building more effective and reliable code LLMs in the future. The replication package is available at https://github.com/Lorien1128/code_hallucination