Evaluating the Generalization Capabilities of Large Language Models on Code Reasoning

📄 arXiv: 2504.05518v1 📥 PDF

作者: Rem Yang, Julian Dai, Nikos Vasilakis, Martin Rinard

分类: cs.SE, cs.CL, cs.LG

发布日期: 2025-04-07

💡 一句话要点

评估大型语言模型在代码推理上的泛化能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 代码推理 泛化能力 代码生成 代码补全

📋 核心要点

  1. 现有大型语言模型在代码推理上的泛化能力尚不明确，需要系统性的评估方法。
  2. 论文通过构建不同分布的代码数据集，并设计实验来评估LLM在代码推理上的泛化能力。
  3. 实验结果表明，最新的LLM在代码推理上展现出强大的泛化能力，优于早期模型。

📝 摘要（中文）

本文评估了大型语言模型（LLM）的代码推理能力在不同类型程序上的泛化性能。研究提出了多种技术，用于获取具有不同特征的分布内和分布外程序，包括：从领域特定语言中抽取的代码、由LLM自动生成的代码、从竞争性编程竞赛中收集的代码以及这些程序的变异版本。此外，本文还提出了一种实验方法，通过比较LLM在这些程序上的性能来评估其泛化能力。研究对过去一年的10个最先进的模型进行了广泛的评估，从而获得了关于它们在不同程序类别上随时间推移的泛化能力的见解。结果表明，虽然早期的模型表现出与模式匹配一致的行为，但最新的模型在代码推理方面表现出强大的泛化能力。

🔬 方法详解

问题定义：现有的大型语言模型在代码推理任务上取得了显著进展，但其泛化能力，即在训练数据分布之外的代码上的表现，仍然是一个关键问题。现有的评估方法往往集中在与训练数据相似的代码上，无法充分揭示模型在面对新颖或复杂代码时的真实性能。因此，如何系统地评估LLM在代码推理上的泛化能力，是本文要解决的核心问题。

核心思路：本文的核心思路是通过构建多样化的代码数据集，包括分布内（in-distribution）和分布外（out-of-distribution）的代码，来全面评估LLM的泛化能力。通过比较模型在不同类型代码上的性能差异，可以深入了解模型的优势和局限性，从而指导模型改进和应用。

技术框架：本文的实验框架主要包含以下几个阶段：1) 数据集构建：构建包含多种类型代码的数据集，包括领域特定语言代码、LLM生成的代码、竞赛代码以及变异代码。2) 模型选择：选择一系列具有代表性的LLM，涵盖不同架构和训练规模。3) 实验评估：设计实验，评估LLM在不同数据集上的代码推理性能。4) 结果分析：分析实验结果，揭示LLM的泛化能力和局限性。

关键创新：本文的关键创新在于提出了一个系统性的方法来评估LLM在代码推理上的泛化能力。具体体现在：1) 多样化的数据集构建方法：通过多种方式生成和收集代码，确保数据集的多样性和代表性。2) 全面的实验评估：通过比较模型在不同数据集上的性能，全面评估模型的泛化能力。3) 深入的结果分析：通过分析实验结果，揭示模型的优势和局限性，为模型改进提供指导。

关键设计：在数据集构建方面，论文采用了多种策略来生成不同类型的代码，例如使用领域特定语言的编译器生成代码，使用LLM生成代码，从竞争性编程网站收集代码，以及对现有代码进行变异。在实验评估方面，论文设计了多种代码推理任务，例如代码补全、代码修复和代码生成。论文使用准确率、BLEU等指标来评估模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，最新的LLM在代码推理方面表现出强大的泛化能力，显著优于早期的模型。例如，在竞赛代码数据集上，最新的模型取得了超过80%的准确率，而早期的模型只有不到50%。此外，实验还发现，模型在变异代码上的性能明显低于原始代码，表明模型对代码的细微变化仍然比较敏感。

🎯 应用场景

该研究成果可应用于提升软件开发的自动化程度，例如自动代码补全、代码修复和代码生成。通过了解LLM在代码推理上的泛化能力，可以更好地利用LLM来辅助软件开发人员，提高开发效率和代码质量。此外，该研究还可以促进LLM在其他领域的应用，例如自然语言处理和机器人控制。

📄 摘要（原文）

We assess how the code reasoning abilities of large language models (LLMs) generalize to different kinds of programs. We present techniques for obtaining in- and out-of-distribution programs with different characteristics: code sampled from a domain-specific language, code automatically generated by an LLM, code collected from competitive programming contests, and mutated versions of these programs. We also present an experimental methodology for evaluating LLM generalization by comparing their performance on these programs. We perform an extensive evaluation across 10 state-of-the-art models from the past year, obtaining insights into their generalization capabilities over time and across different classes of programs. Our results highlight that while earlier models exhibit behavior consistent with pattern matching, the latest models exhibit strong generalization abilities on code reasoning.