Self-Explained Keywords Empower Large Language Models for Code Generation

📄 arXiv: 2410.15966v1 📥 PDF

作者: Lishui Fan, Mouxiang Chen, Zhongxin Liu

分类: cs.CL, cs.AI, cs.SE

发布日期: 2024-10-21

💡 一句话要点

提出自解释关键词（SEK）方法，提升大语言模型在代码生成中对低频关键词的理解。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 代码生成 大语言模型 低频关键词 自解释 关键词提取 自然语言处理 提示工程

📋 核心要点

  1. 大语言模型在代码生成中面临低频关键词理解不足的挑战，影响代码准确性。
  2. SEK方法利用LLM自身提取并解释问题描述中的关键术语，并按频率排序。
  3. 实验表明，SEK显著提升了LLM在多个代码生成基准上的性能，例如Humaneval。

📝 摘要（中文）

大型语言模型（LLMs）在代码生成方面取得了显著成果。然而，由于LLMs训练数据的长尾分布，低频词汇在训练过程中通常得不到充分表示。因此，LLMs在代码生成过程中经常误解或忽略特定于问题的低频关键词，从而影响生成代码的准确性。为了解决这个问题，我们提出了一种名为SEK（自解释关键词）的新技术，该技术通过利用LLM自身提取和解释问题描述中的关键术语，并根据频率对其进行排序，从而增强LLM的代码生成能力。在HumanEval(+), MBPP(+)和APPS三个基准数据集上，对五个代表性LLM进行的全面实验表明，SEK可以显著提高LLM在代码生成方面的性能，产生显著且一致的收益。例如，在Humaneval基准测试中，SEK将DeepSeek-Coder-V2-Instruct的Pass@1从85.4％提高到93.3％。进一步的分析证实，SEK使LLM能够将其注意力从低频关键词转移到相应的高频对应词。

🔬 方法详解

问题定义：现有的大语言模型在代码生成任务中，由于训练数据的长尾分布，对于问题描述中出现的低频关键词理解不足，导致生成的代码准确性下降。这些低频关键词往往是问题特定的，对于正确理解问题至关重要。

核心思路：SEK的核心思路是利用大语言模型自身的能力来解释和理解这些低频关键词。通过让LLM提取问题描述中的关键词，并对这些关键词进行解释，可以帮助LLM更好地理解问题的意图，从而生成更准确的代码。同时，根据关键词的频率进行排序，可以使LLM更加关注重要的关键词。

技术框架：SEK方法主要包含两个阶段：关键词提取和关键词解释。首先，利用LLM从问题描述中提取关键词。然后，利用LLM对提取出的关键词进行解释，生成关键词的解释文本。最后，根据关键词的频率对关键词进行排序，并将关键词及其解释文本作为上下文信息输入到LLM中，用于代码生成。

关键创新：SEK的关键创新在于利用LLM自身的能力来解决低频关键词理解的问题。与传统的关键词提取方法不同，SEK方法不需要额外的训练数据或人工标注，而是直接利用LLM的知识和推理能力。此外，SEK方法还通过关键词解释的方式，进一步增强了LLM对关键词的理解。

关键设计：SEK方法中的关键词提取和解释都依赖于LLM的prompt设计。论文中设计了特定的prompt，引导LLM提取问题描述中的关键词，并生成关键词的解释文本。关键词的频率统计采用简单的词频统计方法。在代码生成阶段，将关键词及其解释文本拼接成一段上下文信息，与原始的问题描述一起输入到LLM中。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SEK方法在HumanEval(+), MBPP(+)和APPS三个基准数据集上均取得了显著的性能提升。例如，在Humaneval基准测试中，SEK将DeepSeek-Coder-V2-Instruct的Pass@1从85.4％提高到93.3％，提升了近8个百分点。此外，实验还证明SEK能够有效地将LLM的注意力从低频关键词转移到高频对应词，从而更好地理解问题。

🎯 应用场景

SEK方法可应用于各种代码生成场景，尤其是在问题描述包含大量专业术语或低频词汇的领域，例如金融、医疗等。该方法能够提升代码生成的准确性和可靠性，降低人工干预成本，并加速软件开发过程。未来，SEK可以与其他代码生成技术相结合，进一步提升代码生成的智能化水平。

📄 摘要（原文）

Large language models (LLMs) have achieved impressive performance in code generation. However, due to the long-tail distribution of LLMs' training data, low-frequency terms are typically underrepresented in the training process. Consequently, LLMs often misunderstand or overlook problem-specific, low-frequency keywords during code generation, compromising the accuracy of the generated code. To address this, we propose a novel technique named SEK(\textbf{S}elf-\textbf{E}xplained \textbf{K}eywords), which empowers an LLM for better code generation by extracting and explaining the key terms in the problem description with the LLM itself and ranking them based on frequency. Comprehensive experiments across three benchmarks, i.e., HumanEval(+), MBPP(+), and APPS, with five representative LLMs, show that SEK can significantly improve LLMs in code generation, yielding substantial and consistent gains. For instance, SEK improves the Pass@1 of DeepSeek-Coder-V2-Instruct from 85.4\% to 93.3\% on the Humaneval benchmark. Further analysis confirms that SEK enables the LLMs to shift their attention from low-frequency keywords to their corresponding high-frequency counterparts.