MATCH: Task-Driven Code Evaluation through Contrastive Learning

📄 arXiv: 2510.23169v2 📥 PDF

作者: Marah Ghoummaid, Vladimir Tchuiev, Ofek Glick, Michal Moshkovitz, Dotan Di Castro

分类: cs.CL, cs.SE

发布日期: 2025-10-27 (更新: 2025-10-28)

💡 一句话要点

提出MATCH，通过对比学习实现任务驱动的代码评估，无需参考代码。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 代码评估 对比学习 代码生成 自然语言处理 代码嵌入

📋 核心要点

  1. 现有代码评估方法（如单元测试、句法相似度）存在成本高、无法捕捉功能性或依赖参考代码等问题。
  2. MATCH利用对比学习，将代码和任务描述嵌入到同一语义空间，通过相似度评分评估代码质量。
  3. 实验表明，MATCH在多个编程语言上，与代码的功能正确性和人类偏好具有更强的相关性。

📝 摘要（中文）

基于AI的代码生成日益普及，GitHub Copilot预计生成了GitHub上46%的代码。准确评估生成的代码与开发者意图的对齐程度仍然是一个关键挑战。传统的评估方法，如单元测试，通常不可扩展且成本高昂。句法相似性指标（如BLEU、ROUGE）无法捕捉代码的功能性，而像CodeBERTScore这样的指标需要参考代码，但参考代码并非总是可用。为了解决无参考评估的空白，以及少数替代方案如ICE-Score，本文介绍了一种新的无参考指标MATCH。MATCH使用对比学习为代码和自然语言任务描述生成有意义的嵌入，从而实现反映生成代码如何实现任务的相似性评分。我们表明，在多种编程语言中，MATCH比现有指标与功能正确性和人类偏好具有更强的相关性。

🔬 方法详解

问题定义：论文旨在解决AI生成代码的评估问题，特别是缺乏无需参考代码的有效评估指标。现有方法，如单元测试成本高昂，句法相似度无法捕捉代码功能，而CodeBERTScore等需要参考代码，限制了应用场景。因此，需要一种能够准确评估生成代码与开发者意图对齐程度，且无需参考代码的评估方法。

核心思路：论文的核心思路是利用对比学习，将代码和描述代码功能的自然语言任务描述嵌入到同一语义空间。通过计算代码嵌入和任务描述嵌入之间的相似度，来评估代码是否实现了预期的功能。这种方法避免了对参考代码的依赖，并且能够更好地捕捉代码的功能性。

技术框架：MATCH的整体框架包含以下几个主要模块：1) 代码编码器：将代码片段转换为嵌入向量。2) 任务描述编码器：将自然语言任务描述转换为嵌入向量。3) 对比学习目标：训练编码器，使得功能上匹配的代码和任务描述的嵌入向量更接近，而不匹配的向量更远离。4) 相似度评分：计算代码嵌入和任务描述嵌入之间的相似度，作为代码质量的评估指标。

关键创新：MATCH的关键创新在于使用对比学习来学习代码和任务描述的联合嵌入表示。与传统的基于句法相似度的评估方法不同，MATCH关注代码的功能性，并且不需要参考代码。此外，通过对比学习，MATCH能够学习到更具语义信息的嵌入表示，从而更准确地评估代码质量。

关键设计：MATCH的关键设计包括：1) 使用Transformer模型作为代码和任务描述的编码器。2) 采用InfoNCE损失函数作为对比学习的目标函数，鼓励匹配的代码和任务描述的嵌入向量更接近，而不匹配的向量更远离。3) 通过负采样策略，增加对比学习的难度，提高模型的泛化能力。4) 相似度评分采用余弦相似度，计算代码嵌入和任务描述嵌入之间的相似度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MATCH在多个编程语言上，与代码的功能正确性和人类偏好具有比现有指标（如BLEU、CodeBERTScore、ICE-Score）更强的相关性。具体而言，MATCH在评估代码功能正确性方面取得了显著提升，能够更准确地反映代码的实际质量。

🎯 应用场景

MATCH可应用于AI代码生成系统的评估，帮助开发者选择更符合需求的生成代码。同时，也可用于代码搜索、代码推荐等场景，提升代码理解和检索的准确性。该研究有助于推动AI代码生成技术的发展和应用，提高软件开发的效率和质量。

📄 摘要（原文）

AI-based code generation is increasingly prevalent, with GitHub Copilot estimated to generate 46% of the code on GitHub. Accurately evaluating how well generated code aligns with developer intent remains a critical challenge. Traditional evaluation methods, such as unit tests, are often unscalable and costly. Syntactic similarity metrics (e.g., BLEU, ROUGE) fail to capture code functionality, and metrics like CodeBERTScore require reference code, which is not always available. To address the gap in reference-free evaluation, with few alternatives such as ICE-Score, this paper introduces MATCH, a novel reference-free metric. MATCH uses Contrastive Learning to generate meaningful embeddings for code and natural language task descriptions, enabling similarity scoring that reflects how well generated code implements the task. We show that MATCH achieves stronger correlations with functional correctness and human preference than existing metrics across multiple programming languages.