Importing Phantoms: Measuring LLM Package Hallucination Vulnerabilities
作者: Arjun Krishna, Erick Galinkin, Leon Derczynski, Jeffrey Martin
分类: cs.LG, cs.CL, cs.CR
发布日期: 2025-01-31
💡 一句话要点
评估LLM代码生成中软件包幻觉漏洞，揭示潜在软件供应链攻击风险
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 代码生成 软件包幻觉 软件供应链安全 漏洞分析
📋 核心要点
- 现有LLM代码生成存在软件包幻觉问题，可能导致软件供应链安全漏洞，缺乏有效评估和防御手段。
- 通过分析LLM在不同编程语言和任务下的软件包幻觉行为，揭示其与模型选择、大小和任务复杂度的关系。
- 发现代码生成性能与软件包幻觉率之间存在权衡，并提出基于HumanEval的幻觉倾向评估方法。
📝 摘要（中文）
大型语言模型（LLM）已成为程序员的重要工具，但其代码幻觉倾向可能被恶意行为者利用，从而给软件供应链引入漏洞。本文分析了LLM在流行编程语言中软件包幻觉行为，包括现有软件包引用和虚构依赖项。通过分析这种幻觉行为，我们发现了潜在的攻击，并提出了防御策略。研究表明，软件包幻觉率不仅取决于模型选择，还取决于编程语言、模型大小和编码任务请求的明确性。代码生成性能和软件包幻觉之间的帕累托最优边界非常稀疏，表明编码模型并未针对安全代码进行优化。此外，我们发现软件包幻觉率与HumanEval编码基准之间存在负相关关系，这为评估模型产生幻觉软件包的倾向提供了一种启发式方法。我们的指标、发现和分析为未来的模型奠定了基础，从而保护AI辅助软件开发工作流程免受软件包供应链攻击。
🔬 方法详解
问题定义：论文旨在解决大型语言模型（LLM）在代码生成过程中出现的“软件包幻觉”问题。具体而言，LLM可能会在生成的代码中引用不存在的软件包或依赖项，从而导致代码无法运行或引入安全漏洞。现有方法缺乏对这种幻觉行为的系统性评估和有效防御机制，使得软件供应链面临潜在的攻击风险。
核心思路：论文的核心思路是通过系统性地分析LLM在不同编程语言和编码任务下的软件包幻觉行为，揭示其内在规律和影响因素。通过构建评估指标和分析框架，量化不同LLM的幻觉倾向，并探索其与模型性能、大小和任务复杂度的关系。基于分析结果，提出相应的防御策略，以降低软件包幻觉带来的安全风险。
技术框架：论文的技术框架主要包括以下几个阶段：1) 构建软件包幻觉测试数据集，包含现有软件包引用和虚构依赖项；2) 利用不同的LLM生成代码，并记录其软件包引用情况；3) 设计评估指标，量化LLM的软件包幻觉率；4) 分析幻觉率与模型选择、编程语言、模型大小和任务复杂度的关系；5) 提出基于分析结果的防御策略，例如过滤虚假依赖项或优化模型训练目标。
关键创新：论文的关键创新在于：1) 系统性地研究了LLM代码生成中的软件包幻觉问题，填补了该领域的空白；2) 提出了量化软件包幻觉率的评估指标，为比较不同LLM的安全性提供了依据；3) 揭示了软件包幻觉率与模型性能、大小和任务复杂度之间的关系，为优化模型设计提供了指导；4) 提出了基于分析结果的防御策略，为提高软件供应链安全性提供了参考。
关键设计：论文的关键设计包括：1) 针对不同编程语言（如Python、Java、JavaScript等）构建了包含现有软件包和虚构软件包的数据集；2) 使用不同的LLM（如GPT-3、Codex等）生成代码，并记录其软件包引用情况；3) 定义了软件包幻觉率的计算公式，例如将虚构软件包的引用次数除以总引用次数；4) 使用HumanEval等基准测试评估LLM的代码生成性能，并分析其与软件包幻觉率之间的关系；5) 提出了基于过滤虚假依赖项或优化模型训练目标的防御策略。
🖼️ 关键图片
📊 实验亮点
研究发现软件包幻觉率受多种因素影响，包括模型选择、编程语言、模型大小和任务复杂度。代码生成性能与软件包幻觉率之间存在权衡关系，且软件包幻觉率与HumanEval编码基准呈负相关。这些发现为评估和优化LLM代码生成安全性提供了重要依据。
🎯 应用场景
该研究成果可应用于AI辅助软件开发工具的安全评估与增强，帮助开发者选择更安全的LLM模型，并降低因软件包幻觉引入的软件供应链风险。未来可进一步应用于自动化漏洞检测、代码安全审计等领域，提升软件开发的整体安全性。
📄 摘要（原文）
Large Language Models (LLMs) have become an essential tool in the programmer's toolkit, but their tendency to hallucinate code can be used by malicious actors to introduce vulnerabilities to broad swathes of the software supply chain. In this work, we analyze package hallucination behaviour in LLMs across popular programming languages examining both existing package references and fictional dependencies. By analyzing this package hallucination behaviour we find potential attacks and suggest defensive strategies to defend against these attacks. We discover that package hallucination rate is predicated not only on model choice, but also programming language, model size, and specificity of the coding task request. The Pareto optimality boundary between code generation performance and package hallucination is sparsely populated, suggesting that coding models are not being optimized for secure code. Additionally, we find an inverse correlation between package hallucination rate and the HumanEval coding benchmark, offering a heuristic for evaluating the propensity of a model to hallucinate packages. Our metrics, findings and analyses provide a base for future models, securing AI-assisted software development workflows against package supply chain attacks.