SV-TrustEval-C: Evaluating Structure and Semantic Reasoning in Large Language Models for Source Code Vulnerability Analysis

📄 arXiv: 2505.20630v1 📥 PDF

作者: Yansong Li, Paula Branco, Alexander M. Hoole, Manish Marwah, Hari Manassery Koduvely, Guy-Vincent Jourdan, Stephan Jou

分类: cs.SE, cs.CL

发布日期: 2025-05-27

期刊: 2025 IEEE Symposium on Security and Privacy (SP), 2025, pp. 2791-2809

💡 一句话要点

SV-TrustEval-C：评估大语言模型在C代码漏洞分析中的结构和语义推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 代码漏洞分析 结构推理 语义推理 基准测试 C语言 软件安全 代码理解

📋 核心要点

  1. 现有研究在评估LLM代码漏洞分析能力时，往往忽略了结构和语义推理的重要性，导致评估结果不够全面。
  2. 论文提出SV-TrustEval-C基准，通过结构推理和语义推理两个维度，更全面地评估LLM在C语言代码漏洞分析中的能力。
  3. 实验结果表明，现有LLM在理解复杂代码关系方面表现不佳，漏洞分析更多依赖模式匹配，而非逻辑推理。

📝 摘要（中文）

随着大型语言模型(LLMs)在理解和生成代码方面的不断发展，准确评估它们在分析源代码漏洞方面的可靠性变得至关重要。现有研究通常忽略了结构和语义推理的重要性，而这对于可信的漏洞分析至关重要。为了解决这一差距，我们引入了SV-TrustEval-C，这是一个旨在评估LLMs在C语言代码漏洞分析能力的标准，通过两个关键维度：结构推理——评估模型在不同数据和控制流复杂度下识别代码元素之间关系的能力；以及语义推理——检查模型在代码结构和语义受到扰动的情况下，其逻辑一致性。结果表明，当前LLMs在理解复杂代码关系方面远不能令人满意，并且它们的漏洞分析更多地依赖于模式匹配，而不是强大的逻辑推理。这些发现强调了SV-TrustEval-C基准的有效性，并突出了在实际漏洞分析任务中增强LLMs推理能力和可信度的关键领域。我们已公开了初始基准数据集。

🔬 方法详解

问题定义：论文旨在解决如何更全面、更可靠地评估大型语言模型（LLMs）在C语言源代码漏洞分析中的能力的问题。现有方法主要关注漏洞检测和修复等任务，但忽略了结构推理（代码元素关系识别）和语义推理（逻辑一致性）的重要性，导致评估结果不够可信。现有方法容易高估LLM的真实能力，无法有效区分基于模式匹配和真正理解代码逻辑的漏洞分析。

核心思路：论文的核心思路是构建一个专门的基准测试集SV-TrustEval-C，该基准侧重于评估LLM在结构推理和语义推理两个关键维度上的能力。通过精心设计的测试用例，考察LLM在不同数据和控制流复杂度下识别代码元素之间关系的能力，以及在代码结构和语义受到扰动的情况下保持逻辑一致性的能力。这种多维度的评估方法旨在更准确地反映LLM在实际漏洞分析中的表现。

技术框架：SV-TrustEval-C基准测试框架包含以下主要组成部分：1) 漏洞代码数据集：包含多种类型的C语言漏洞代码，并针对结构和语义推理进行特殊设计。2) 结构推理测试：评估LLM在不同数据和控制流复杂度下识别代码元素之间关系的能力，例如变量依赖、函数调用关系等。3) 语义推理测试：评估LLM在代码结构和语义受到扰动的情况下，例如变量重命名、代码顺序改变等，保持逻辑一致性的能力。4) 评估指标：设计合理的评估指标，量化LLM在结构推理和语义推理方面的表现。

关键创新：论文的关键创新在于提出了一个专门针对LLM代码漏洞分析的结构化和语义化推理评估基准。与以往的研究不同，SV-TrustEval-C不仅仅关注漏洞检测的准确率，更关注LLM是否真正理解代码的结构和语义，并能够进行逻辑推理。这种评估方法能够更准确地反映LLM在实际漏洞分析中的能力，并为提升LLM的可靠性提供指导。

关键设计：SV-TrustEval-C的关键设计包括：1) 漏洞代码的多样性：包含多种常见的C语言漏洞类型，例如缓冲区溢出、格式化字符串漏洞等。2) 结构复杂度的控制：通过调整数据和控制流的复杂度，评估LLM在不同难度下的结构推理能力。3) 语义扰动的引入：通过变量重命名、代码顺序改变等方式，评估LLM的语义推理能力。4) 评估指标的合理性：采用准确率、召回率、F1值等指标，综合评估LLM在结构推理和语义推理方面的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，当前LLMs在SV-TrustEval-C基准上的表现远未达到令人满意的水平，尤其是在处理复杂的代码关系和进行逻辑推理方面。LLMs的漏洞分析更多地依赖于模式匹配，而非对代码结构和语义的深入理解。这些发现突出了现有LLMs在代码漏洞分析方面的局限性，并为未来的研究方向提供了重要的启示。

🎯 应用场景

该研究成果可应用于提升大型语言模型在软件安全领域的应用能力，例如自动化漏洞检测、代码审计和安全代码生成。通过SV-TrustEval-C基准，可以更有效地评估和改进LLM在处理复杂代码逻辑和识别潜在安全风险方面的能力，从而降低软件开发过程中的安全风险，提高软件系统的整体安全性。未来，该基准可以扩展到其他编程语言和安全领域。

📄 摘要（原文）

As Large Language Models (LLMs) evolve in understanding and generating code, accurately evaluating their reliability in analyzing source code vulnerabilities becomes increasingly vital. While studies have examined LLM capabilities in tasks like vulnerability detection and repair, they often overlook the importance of both structure and semantic reasoning crucial for trustworthy vulnerability analysis. To address this gap, we introduce SV-TrustEval-C, a benchmark designed to evaluate LLMs' abilities for vulnerability analysis of code written in the C programming language through two key dimensions: structure reasoning - assessing how models identify relationships between code elements under varying data and control flow complexities; and semantic reasoning - examining their logical consistency in scenarios where code is structurally and semantically perturbed. Our results show that current LLMs are far from satisfactory in understanding complex code relationships and that their vulnerability analyses rely more on pattern matching than on robust logical reasoning. These findings underscore the effectiveness of the SV-TrustEval-C benchmark and highlight critical areas for enhancing the reasoning capabilities and trustworthiness of LLMs in real-world vulnerability analysis tasks. Our initial benchmark dataset is publicly available.