Top General Performance = Top Domain Performance? DomainCodeBench: A Multi-domain Code Generation Benchmark
作者: Dewu Zheng, Yanlin Wang, Ensheng Shi, Xilin Liu, Yuchi Ma, Hongyu Zhang, Zibin Zheng
分类: cs.SE, cs.AI, cs.CL
发布日期: 2024-12-24 (更新: 2025-03-17)
🔗 代码/项目: GITHUB
💡 一句话要点
提出 DomainCodeBench 多领域代码生成基准，揭示通用LLM在特定领域表现的不足。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 代码生成 大型语言模型 多领域学习 基准测试 软件工程
📋 核心要点
- 现有代码生成评估主要集中于通用领域，忽略了LLM在特定软件应用领域的真实性能表现。
- 提出DomainCodeBench，一个包含12个领域和15种编程语言的多领域代码生成基准，用于系统评估LLM在特定领域的代码生成能力。
- 实验表明，通用领域表现优异的LLM在特定领域表现不佳，通过领域知识增强提示可显著提升性能约38.17%。
📝 摘要（中文）
随着大型语言模型（LLMs）的快速发展，大量研究致力于探索LLMs的代码生成能力。然而，现有的工作主要集中在通用领域的任务上，LLMs在实际应用领域的代码生成性能尚未得到充分探索。这引出了一个关键问题：模型在通用领域的编码能力能否可靠地代表其在特定领域的能力？本文提出了DomainCodeBench，一个多领域代码生成基准，旨在系统地评估LLMs在12个软件应用领域和15种编程语言中的表现。DomainCodeBench包含2400个经过人工验证的任务及其标准答案、人工标注的文档字符串和细粒度的依赖关系信息，以确保更全面地覆盖特定领域的挑战。具体来说，我们首先通过主题挖掘确定最流行的应用领域。然后，我们基于每个领域中常用的框架和平台来策划编码任务。通过对DomainCodeBench上的十个主流LLM进行的大量实验，我们获得了以下发现：（1）性能解耦：实验表明，顶级的通用领域模型在特定应用领域并不总是表现出色；（2）领域特定弱点：LLMs常常由于领域知识的缺乏和第三方库的误用而失败；（3）上下文增强：我们表明，用领域特定知识增强提示可以提高约38.17%的性能，为性能优化提供可操作的见解。我们的复制包，包括基准、源代码和实验结果，可在https://github.com/DeepSoftwareAnalytics/DomainCodeBench获得。
🔬 方法详解
问题定义：现有的大型语言模型（LLMs）在代码生成方面的评估主要集中在通用领域，缺乏对特定软件应用领域（如Web开发、数据科学、游戏开发等）的深入评估。这意味着我们无法准确了解LLMs在实际应用场景中的代码生成能力，以及通用领域的性能是否能代表其在特定领域的性能。现有方法的痛点在于无法有效识别LLMs在特定领域的弱点，阻碍了针对性优化。
核心思路：该论文的核心思路是构建一个多领域代码生成基准（DomainCodeBench），该基准覆盖多个软件应用领域和编程语言，包含大量人工验证的任务，并提供详细的领域知识和依赖关系信息。通过在该基准上评估LLMs，可以揭示LLMs在不同领域的性能差异和弱点，从而为LLMs的优化提供指导。
技术框架：DomainCodeBench的构建流程主要包括以下几个阶段：1) 领域识别：通过主题挖掘方法确定最流行的软件应用领域。2) 任务策划：基于每个领域中常用的框架和平台，设计具有代表性的编码任务。3) 数据标注：对每个任务进行人工验证，并提供标准答案、人工标注的文档字符串和细粒度的依赖关系信息。4) 模型评估：使用DomainCodeBench评估多个主流LLMs的代码生成性能，并分析实验结果。
关键创新：该论文的关键创新在于构建了一个全面、细粒度的多领域代码生成基准DomainCodeBench。与现有的通用代码生成基准相比，DomainCodeBench更关注LLMs在特定领域的表现，并提供了更丰富的领域知识和依赖关系信息，从而能够更准确地评估LLMs的代码生成能力。此外，论文还提出了通过领域知识增强提示来提升LLMs性能的方法。
关键设计：DomainCodeBench包含12个软件应用领域和15种编程语言，共计2400个任务。每个任务都包含详细的描述、输入输出示例、标准答案、文档字符串和依赖关系信息。在模型评估方面，论文采用了pass@k指标来衡量LLMs的代码生成成功率，并分析了LLMs在不同领域的性能差异和弱点。论文还探索了多种提示策略，包括零样本提示、少样本提示和领域知识增强提示。
🖼️ 关键图片
📊 实验亮点
实验结果表明，通用领域表现优异的LLM在特定领域表现不佳，存在明显的性能解耦现象。LLM常常由于领域知识的缺乏和第三方库的误用而失败。通过领域知识增强提示，LLM的代码生成性能可以提高约38.17%。这些结果为LLM在特定领域的应用提供了重要的指导。
🎯 应用场景
该研究成果可应用于评估和提升大型语言模型在特定软件开发领域的代码生成能力。DomainCodeBench基准可以帮助开发者选择更适合特定任务的LLM，并指导LLM的优化，例如通过领域知识增强提示来提高代码生成质量。未来，该研究可以扩展到更多领域和编程语言，并用于开发更智能的代码生成工具。
📄 摘要（原文）
With the rapid advancement of large language models (LLMs), extensive research has been conducted to investigate the code generation capabilities of LLMs. However, existing efforts primarily focus on general-domain tasks, leaving LLMs' code generation performance in real-world application domains underexplored. This raises a critical question: can a model's general-domain coding ability reliably represent its ability in specialized domains? In this paper, we introduce DomainCodeBench, a multi-domain code generation benchmark designed to systematically evaluate LLMs across 12 software application domains and 15 programming languages. DomainCodeBench contains 2,400 manually verified tasks with ground truth, human-annotated docstrings, and fine-grained dependency information to ensure more coverage of domain-specific challenges. Specifically, we first identify the most popular application domains by topic mining. Then, we curate coding tasks based on commonly used frameworks and platforms in each domain. We obtain several findings through extensive experiments on DomainCodeBench with ten mainstream LLMs. (1) Performance decoupling: experiments reveal that top general-domain models do not consistently excel in specific application domains; (2) Domain-specific weaknesses: LLMs often fail due to domain knowledge gaps and third-party library misusage; (3) Contextual enhancement: we show that augmenting prompts with domain-specific knowledge improves performance by around 38.17%, providing actionable insights for performance optimization. Our replication package, including the benchmark, source code, and experimental results, is available at https://github.com/DeepSoftwareAnalytics/DomainCodeBench.