Are you Synthesizing or Recalling? Evaluating LLMs on Algorithmic Code Retrieval
作者: Nickil Maveli, Antonio Vergari, Shay B. Cohen
分类: cs.LG, cs.AI, cs.CL, cs.PL
发布日期: 2026-10-01
备注: 30 pages (preprint)
🔗 代码/项目: GITHUB
💡 一句话要点
提出AlgoREval基准以评估LLMs在算法代码检索中的表现
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 算法代码检索 参数化代码检索 AlgoREval 代码生成 机器学习 软件开发
📋 核心要点
- 现有的LLM在算法代码生成中缺乏对回忆和推理能力的明确区分，导致评估不够全面。
- 本文提出AlgoREval基准，专注于参数化代码检索，旨在独立评估LLMs的算法知识回忆能力。
- 实验结果显示，检索准确性在不同语言和输入表示中存在显著差异，提示增强技术有效提升了复杂算法的准确性。
📝 摘要（中文）
大型语言模型（LLMs）在代码生成方面表现出色，但成功依赖于相关算法知识的回忆和应用推理。现有的LLM管道缺乏对这两个组件的明确区分。本文提出了AlgoREval，一个包含599个问题的基准，涵盖14个领域中的77个经典算法，使用7种编程语言和4种图输入表示，旨在独立评估LLMs的参数化代码检索能力。实验结果显示，不同语言和输入表示的检索准确性存在显著差异，且通过提示增强技术可提高复杂算法的准确性，同时SFT和GRPO在特定语言上也取得了显著提升。我们的研究强调了参数化代码检索作为一种独特的可测量能力，并警示在缺乏系统验证的情况下不应部署AI生成的算法代码。
🔬 方法详解
问题定义：本文旨在解决现有大型语言模型在算法代码生成中缺乏对回忆和推理能力的明确评估，尤其是在经典算法的实现上。现有方法未能有效区分这两种能力，导致评估结果的模糊性。
核心思路：论文提出了AlgoREval基准，强调参数化代码检索的概念，即从内在知识中重现已知算法，而非合成新算法。通过这种方式，可以更准确地评估LLMs在算法知识回忆方面的能力。
技术框架：AlgoREval基准包含599个问题，覆盖77个经典算法，涉及14个领域、7种编程语言和4种图输入表示。评估过程在零-shot设置下进行，比较了15个不同参数规模的模型。
关键创新：最重要的创新点在于将代码生成视为参数化代码检索，并通过明确的基准评估这一能力。这一方法与传统的代码生成评估方法本质上不同，提供了更清晰的评估标准。
关键设计：在实验中，采用了提示增强技术，通过引入检索到的代码片段或结构化算法提示来提高复杂算法的准确性。此外，SFT和GRPO方法在特定语言上也显示出显著的性能提升。实验设计中关注了不同语言和输入表示的影响。
🖼️ 关键图片
📊 实验亮点
实验结果表明，不同语言和输入表示的检索准确性存在显著差异，提示增强技术在复杂算法上的准确性提升幅度明显。具体而言，SFT方法在语言范围内获得了更广泛的提升，而GRPO方法在特定语言上实现了更大的增益，这些结果为LLMs的实际应用提供了重要参考。
🎯 应用场景
该研究的潜在应用领域包括教育、软件开发和自动化编程工具。通过准确评估LLMs在算法代码检索中的能力，可以为开发更高效的编程辅助工具提供理论基础，提升程序员的工作效率。此外，未来可能在算法教学中应用该基准，以帮助学生更好地理解和掌握算法知识。
📄 摘要（原文）
Large language models (LLMs) have demonstrated strong performance in code generation, where success depends on both recalling relevant algorithmic knowledge and reasoning about how to apply it. However, existing LLM pipelines are opaque, with no explicit separation between these two components. We argue that for well-known algorithms whose canonical implementations are widely accessible in pretraining corpora, code generation is better measured as \textit{parametric code retrieval}: reproducing a named algorithm from internalised knowledge rather than synthesizing a novel one. We introduce AlgoREval, a benchmark of 599 problems spanning classical 77 algorithms across 14 domains, 7 programming languages, and 4 graph-input representations to evaluate this capability in isolation, and assess 15 models (7B--34B parameters) in a zero-shot setting. We find substantial variation in retrieval accuracy across languages and input representations, even for widely documented algorithms and show that prompt augmentation with retrieved code snippets or structured algorithmic hints improve accuracy on complex algorithms, while SFT achieves broader language gains and GRPO achieves larger per-language gains on specific languages. Together, our results establish parametric code retrieval as a distinct, measurable capability and caution against deploying AI-generated algorithmic code without systematic validation.\footnote{Code and dataset are available at https://github.com/Nickil21/AlgoREval