CoCoNUT: Structural Code Understanding does not fall out of a tree
作者: Claas Beger, Saikat Dutta
分类: cs.LG, cs.SE
发布日期: 2025-01-27 (更新: 2025-03-03)
备注: Accepted at 2025 IEEE/ACM International Workshop on Large Language Models for Code (LLM4Code)
💡 一句话要点
CoCoNUT：揭示大型语言模型在代码结构理解方面的局限性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 代码理解 大型语言模型 控制流 代码执行轨迹 递归 并行处理 面向对象编程 CoCoNUT数据集
📋 核心要点
- 现有代码生成基准测试无法充分评估LLM对代码结构化控制流的理解能力。
- 提出CoCoNUT数据集，通过追踪代码执行路径来评估LLM的代码理解能力，特别是针对递归、并行处理和面向对象编程。
- 实验表明，即使是性能最佳的LLM在CoCoNUT数据集上的表现也远低于人类水平，表明LLM在代码推理方面仍有很大提升空间。
📝 摘要（中文）
大型语言模型（LLMs）在处理结构化和非结构化文本数据方面表现出令人印象深刻的性能。在代码生成、修复或补全等任务的基准测试中，某些模型的能力甚至可以与人类相媲美。然而，本文表明，在这些基准测试中的高分并不意味着模型具备人类理解代码结构化控制流的内在能力。为此，我们从HumanEval基准测试中提取解决方案，并使用从相应测试集中抽样的函数调用来追踪其执行路径。通过这个数据集，我们研究了七个最先进的LLM匹配执行轨迹的能力，发现尽管它们能够生成语义上相同的代码，但它们追踪执行路径的能力有限，特别是对于较长的轨迹和特定的控制结构。即使是性能最佳的Gemini模型，也只能完全且正确地生成47%的HumanEval任务轨迹。此外，我们引入了一个子集，包含HumanEval中没有的三个关键结构：递归、并行处理和面向对象编程，包括继承和多态等概念。除了OOP之外，我们表明没有一个被调查的模型在相关轨迹上达到超过5%的准确率。我们将这些专门的部分与HumanEval任务聚合，提出了CoCoNUT：用于导航理解和测试的代码控制流，它衡量模型在相关调用时追踪代码执行的能力，包括高级结构组件。我们得出结论，当前的LLM需要显著改进，以增强代码推理能力。我们希望我们的数据集能够帮助研究人员弥合这一差距。
🔬 方法详解
问题定义：现有代码生成基准测试，如HumanEval，主要关注代码的生成能力和语义正确性，而忽略了模型对代码内部结构化控制流的理解。即使模型能够生成正确的代码，也可能无法正确追踪代码的执行路径，尤其是在涉及复杂控制结构（如递归、并行处理和面向对象编程）时。现有方法无法有效评估模型在这些方面的能力。
核心思路：本文的核心思路是通过分析模型生成的代码的执行轨迹，来评估其对代码结构化控制流的理解程度。具体来说，就是给定一段代码和一系列函数调用，模型需要预测代码的执行路径。如果模型能够正确预测执行路径，则表明其对代码的控制流有较好的理解。这种方法能够更直接地反映模型对代码逻辑的理解，而不仅仅是代码生成的表面能力。
技术框架：本文主要通过构建数据集CoCoNUT来评估LLM的代码理解能力。CoCoNUT数据集包含两部分：一部分是从HumanEval中提取的解决方案及其执行轨迹；另一部分是专门设计的测试用例，涵盖递归、并行处理和面向对象编程等复杂控制结构。对于每个测试用例，都包含代码、函数调用序列以及对应的执行轨迹。研究人员使用这些数据来评估LLM预测执行轨迹的准确性。
关键创新：本文的关键创新在于提出了一种新的评估LLM代码理解能力的方法，即通过分析代码的执行轨迹。与传统的代码生成基准测试相比，这种方法能够更直接地反映模型对代码逻辑的理解。此外，本文还构建了一个新的数据集CoCoNUT，专门用于评估LLM在复杂控制结构方面的代码理解能力。
关键设计：CoCoNUT数据集的关键设计在于其测试用例的多样性和复杂性。数据集不仅包含从HumanEval中提取的解决方案，还包含专门设计的测试用例，涵盖递归、并行处理和面向对象编程等复杂控制结构。这些测试用例旨在挑战LLM的代码理解能力，并揭示其在这些方面的局限性。此外，数据集还提供了详细的执行轨迹，方便研究人员评估模型的预测准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，即使是性能最佳的Gemini模型，也只能完全且正确地生成47%的HumanEval任务轨迹。在包含递归、并行处理和面向对象编程的CoCoNUT子集上，模型的准确率更低，除了OOP之外，没有一个模型超过5%。这些结果表明，当前LLM在代码结构理解方面存在显著的局限性，需要进一步改进。
🎯 应用场景
该研究成果可应用于提升代码生成模型的可靠性和可解释性。通过更准确地评估模型对代码结构的理解，可以开发出更智能的代码助手，帮助程序员编写高质量、易于维护的代码。此外，该研究还可以促进对LLM内部工作机制的理解，为开发更强大的代码智能系统奠定基础。
📄 摘要（原文）
Large Language Models (LLMs) have shown impressive performance across a wide array of tasks involving both structured and unstructured textual data. Recent results on various benchmarks for code generation, repair, or completion suggest that certain models have programming abilities comparable to or even surpass humans. In this work, we demonstrate that high performance on such benchmarks does not correlate to humans' innate ability to understand structural control flow in code. To this end, we extract solutions from the HumanEval benchmark, which the relevant models perform strongly on, and trace their execution path using function calls sampled from the respective test set. Using this dataset, we investigate the ability of seven state-of-the-art LLMs to match the execution trace and find that, despite their ability to generate semantically identical code, they possess limited ability to trace execution paths, especially for longer traces and specific control structures. We find that even the top-performing model, Gemini, can fully and correctly generate only 47% of HumanEval task traces. Additionally, we introduce a subset for three key structures not contained in HumanEval: Recursion, Parallel Processing, and Object-Oriented Programming, including concepts like Inheritance and Polymorphism. Besides OOP, we show that none of the investigated models achieve an accuracy over 5% on the relevant traces. Aggregating these specialized parts with HumanEval tasks, we present CoCoNUT: Code Control Flow for Navigation Understanding and Testing, which measures a model's ability to trace execution of code upon relevant calls, including advanced structural components. We conclude that current LLMs need significant improvement to enhance code reasoning abilities. We hope our dataset helps researchers bridge this gap.