What can Large Language Models Capture about Code Functional Equivalence?

📄 arXiv: 2408.11081v2 📥 PDF

作者: Nickil Maveli, Antonio Vergari, Shay B. Cohen

分类: cs.SE, cs.AI, cs.CL, cs.LG

发布日期: 2024-08-20 (更新: 2025-02-12)

备注: Accepted to Findings of NAACL 2025

💡 一句话要点

SeqCoBench：评估代码大语言模型对代码功能等价性理解能力的基准

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 代码大语言模型 功能等价性 代码语义理解 基准测试 SeqCoBench

📋 核心要点

  1. 现有代码大语言模型在代码生成和分类方面表现出色，但其对代码语义的理解程度仍不明确。
  2. 论文提出SeqCoBench基准，包含多种语义保持或改变的代码转换，用于系统评估模型的功能等价性理解能力。
  3. 实验表明，现有Code-LLMs在区分语义等价代码方面表现不佳，与基于匹配的检索方法差距甚微。

📝 摘要（中文）

代码大语言模型(Code-LLMs)在学习代码结构和语法的丰富表示方面取得了显著进展，并成功地将其应用于生成或分类代码片段。然而，它们是否以及在多大程度上能够理解代码语义仍然是一个悬而未决的问题。本文通过引入SeqCoBench，一个用于系统评估Code-LLMs捕获代码功能等价性的基准，来解决这个问题。SeqCoBench包含超过20种代码转换，这些转换要么保留，要么改变Python程序的语义。我们在不同的设置下进行了广泛的评估，包括零样本和参数高效的微调方法，应用于最先进的(Code)-LLMs，以观察它们是否能够区分SeqCoBench中语义等价或不同的程序对。我们发现，这些LLMs与经典的基于匹配的检索分数之间的性能差距很小，这两种方法都显示出对代码语义理解的深度不足，令人担忧。

🔬 方法详解

问题定义：现有代码大语言模型在代码生成和分类任务中表现良好，但它们是否真正理解代码的语义，以及理解的程度如何，仍然是一个未解决的问题。现有的评估方法往往侧重于代码生成或补全，缺乏对模型理解代码功能等价性的系统性评估。因此，需要一个专门的基准来评估模型区分语义等价和非等价代码的能力。

核心思路：论文的核心思路是构建一个包含多种代码转换的基准数据集，这些转换要么保持代码的语义不变，要么改变代码的语义。通过让模型判断经过不同转换的代码片段是否功能等价，从而评估模型对代码语义的理解能力。这种方法能够更直接地考察模型是否真正理解代码的含义，而不仅仅是学习代码的语法结构。

技术框架：SeqCoBench基准包含超过20种代码转换，这些转换应用于Python程序。这些转换被设计为既包含简单的语法变换（例如，变量重命名），也包含更复杂的语义变换（例如，循环展开）。论文使用SeqCoBench评估了多种Code-LLMs，包括零样本设置和参数高效微调设置。评估指标是模型区分语义等价和非等价代码对的准确率。

关键创新：SeqCoBench的关键创新在于其系统性地评估了Code-LLMs对代码功能等价性的理解能力。与以往侧重于代码生成或补全的评估方法不同，SeqCoBench直接考察模型是否能够区分语义等价的代码片段。此外，SeqCoBench包含了多种不同类型的代码转换，从而能够更全面地评估模型的语义理解能力。

关键设计：SeqCoBench中的代码转换包括：变量重命名、常量替换、循环展开、条件语句重写等。这些转换被设计为既包含简单的语法变换，也包含更复杂的语义变换。评估过程中，模型需要判断两个代码片段是否功能等价。论文使用了零样本学习和参数高效微调两种设置。参数高效微调方法包括Adapter和LoRA。评估指标为准确率，即模型正确判断代码片段是否功能等价的比例。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，现有Code-LLMs在SeqCoBench上的表现与基于匹配的检索方法相差无几，表明这些模型在理解代码语义方面存在明显的不足。即使经过参数高效微调，模型的性能提升也有限。这说明现有Code-LLMs主要依赖于代码的表面特征，而缺乏对代码深层语义的理解。

🎯 应用场景

该研究成果可应用于代码质量评估、代码自动重构、程序验证等领域。通过评估代码大语言模型对代码语义的理解能力，可以帮助开发者选择更合适的模型来完成特定任务。此外，该基准还可以促进代码大语言模型在代码语义理解方面的研究进展，最终提升软件开发的自动化水平。

📄 摘要（原文）

Code-LLMs, LLMs pre-trained on large code corpora, have shown great progress in learning rich representations of the structure and syntax of code, successfully using it to generate or classify code fragments. At the same time, understanding if they are able to do so because they capture code semantics, and how well, is still an open question. In this paper, we tackle this problem by introducing SeqCoBench, a benchmark for systematically assessing how Code-LLMs can capture code functional equivalence. SeqCoBench contains over 20 code transformations that either preserve or alter the semantics of Python programs. We conduct extensive evaluations in different settings, including zero-shot and parameter-efficient finetuning methods on state-of-the-art (Code)-LLMs to see if they can discern semantically equivalent or different pairs of programs in SeqCoBench. We find that the performance gap between these LLMs and classical match-based retrieval scores is minimal, with both approaches showing a concerning lack of depth in understanding code semantics.