CodeVision: Detecting LLM-Generated Code Using 2D Token Probability Maps and Vision Models

📄 arXiv: 2501.03288v1 📥 PDF

作者: Zhenyu Xu, Victor S. Sheng

分类: cs.SE, cs.AI

发布日期: 2025-01-06

💡 一句话要点

CodeVision：利用2D Token概率图和视觉模型检测LLM生成的代码

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 代码检测 LLM生成代码 视觉模型 Token概率图 学术诚信 代码结构 Vision Transformer

📋 核心要点

  1. 现有代码检测方法（如预训练模型和水印）在适应性和计算效率上存在不足，难以有效区分人工编写和LLM生成的代码。
  2. CodeVision将代码转换为2D token概率图，利用视觉模型捕捉代码的内容和空间结构，从而实现更准确的检测。
  3. 实验表明，该方法在多种编程语言中具有鲁棒性，并且相比传统检测器，具有更高的检测精度和计算效率。

📝 摘要（中文）

ChatGPT等大型语言模型（LLM）的兴起显著提高了自动化代码生成能力，提升了软件开发效率。然而，这也带来了学术界的挑战，尤其是在区分人工编写代码和LLM生成的代码方面，这使得学术诚信问题更加复杂。现有的检测方法，如预训练模型和水印技术，在适应性和计算效率方面面临局限性。本文提出了一种新颖的检测方法，该方法使用2D token概率图结合视觉模型，保留了代码的空间结构，如缩进和括号。通过将代码转换为对数概率矩阵，并应用Vision Transformers (ViT)和ResNet等视觉模型，我们捕获内容和结构，从而实现更准确的检测。我们的方法在多种编程语言中表现出鲁棒性，并优于传统的检测器，为识别LLM生成的代码提供了一种可扩展且计算高效的解决方案。

🔬 方法详解

问题定义：论文旨在解决区分人工编写代码和LLM生成的代码这一问题。现有方法，如预训练模型和水印技术，在适应不同编程语言和计算效率方面存在局限性，难以有效应对LLM生成代码带来的学术诚信挑战。

核心思路：论文的核心思路是将代码转换为2D token概率图，利用视觉模型来捕捉代码的内容和空间结构信息。这种方法能够保留代码的缩进、括号等重要结构特征，从而更准确地识别LLM生成的代码。

技术框架：CodeVision方法的整体流程如下：1) 将代码输入LLM，获取每个token的概率分布；2) 将token概率转换为2D对数概率矩阵，形成token概率图；3) 使用预训练的视觉模型（如ViT或ResNet）对概率图进行特征提取；4) 使用分类器（如全连接层）对提取的特征进行分类，判断代码是否由LLM生成。

关键创新：该方法最重要的创新点在于将代码检测问题转化为图像识别问题，利用视觉模型强大的特征提取能力来捕捉代码的结构信息。与传统方法相比，该方法无需针对特定编程语言进行训练，具有更好的泛化能力和鲁棒性。

关键设计：关键设计包括：1) 使用对数概率矩阵来表示token概率，增强视觉模型的感知能力；2) 选择合适的视觉模型，如ViT或ResNet，以适应不同复杂度的代码结构；3) 使用交叉熵损失函数训练分类器，优化检测性能。具体参数设置（如ViT的层数、ResNet的深度）需要根据实验结果进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CodeVision方法在多种编程语言上均取得了良好的检测效果，显著优于传统的检测方法。具体而言，该方法在检测LLM生成的代码方面，准确率提升了X%（具体数值请参考论文原文），并且具有更强的鲁棒性和泛化能力。此外，该方法在计算效率方面也具有优势，能够快速处理大规模代码数据。

🎯 应用场景

该研究成果可应用于学术诚信检测、软件安全审计、代码质量评估等领域。通过自动识别LLM生成的代码，可以有效防止学术不端行为，提高软件开发效率，并辅助代码审查，确保代码质量和安全性。未来，该方法可进一步扩展到其他类型的文本生成内容检测，具有广阔的应用前景。

📄 摘要（原文）

The rise of large language models (LLMs) like ChatGPT has significantly improved automated code generation, enhancing software development efficiency. However, this introduces challenges in academia, particularly in distinguishing between human-written and LLM-generated code, which complicates issues of academic integrity. Existing detection methods, such as pre-trained models and watermarking, face limitations in adaptability and computational efficiency. In this paper, we propose a novel detection method using 2D token probability maps combined with vision models, preserving spatial code structures such as indentation and brackets. By transforming code into log probability matrices and applying vision models like Vision Transformers (ViT) and ResNet, we capture both content and structure for more accurate detection. Our method shows robustness across multiple programming languages and improves upon traditional detectors, offering a scalable and computationally efficient solution for identifying LLM-generated code.