ChatGPT vs. DeepSeek: A Comparative Study on AI-Based Code Generation

📄 arXiv: 2502.18467v1 📥 PDF

作者: Md Motaleb Hossen Manik

分类: cs.SE, cs.AI

发布日期: 2025-01-30

💡 一句话要点

对比ChatGPT与DeepSeek在代码生成任务中的性能，DeepSeek在算法问题上表现更优

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 代码生成 大型语言模型 ChatGPT DeepSeek 性能评估 在线评测 算法问题

📋 核心要点

  1. 现有AI代码生成模型在保证代码质量、正确性以及处理复杂任务方面仍面临挑战，需要进行全面评估。
  2. 本研究对比ChatGPT和DeepSeek在Python代码生成任务中的表现，重点关注其在解决算法问题时的能力。
  3. 实验结果表明，DeepSeek在算法问题上具有更高的正确率，而ChatGPT在代码质量和效率方面略有优势。

📝 摘要（中文）

本研究旨在评估大型语言模型（LLMs）驱动的AI代码生成能力，重点比较ChatGPT（版本o1）和DeepSeek（版本R1）在Python代码生成方面的性能。研究采用在线评测系统中的编程挑战，从正确性（通过在线评测的判决，最多三次尝试）、代码质量（Pylint/Flake8）和效率（执行时间/内存使用）三个维度进行评估。结果表明，DeepSeek在算法任务上表现出更高的正确性，通常首次尝试即可获得“Accepted”结果，而ChatGPT则有时需要多次尝试或失败。ChatGPT在代码质量方面问题较少，内存使用与DeepSeek相当或略少，执行时间更短，代码行数也更少。结论是，DeepSeek在Python代码生成方面具有更高的正确性，尤其在算法问题解决方面具有优势。两种模型在执行时间和内存使用方面表现出几乎相似的效率。本研究为开发者选择AI编码助手提供了参考，并为未来AI驱动的软件开发研究提供了信息。

🔬 方法详解

问题定义：论文旨在评估和比较ChatGPT和DeepSeek两种大型语言模型在Python代码生成任务中的性能差异。现有方法，即直接使用这些模型进行代码生成，缺乏对其生成代码质量、正确性和效率的系统性评估，难以指导开发者选择合适的工具，也无法为模型改进提供有效反馈。

核心思路：论文的核心思路是通过在线评测系统中的编程挑战，模拟实际开发场景，对两种模型生成的代码进行客观评估。通过考察代码的正确性（是否通过测试用例）、代码质量（是否符合编码规范）和效率（执行时间和内存占用），全面衡量两种模型的优劣。

技术框架：研究的技术框架主要包括以下几个步骤：1) 选择在线评测系统中的编程挑战作为测试用例；2) 使用ChatGPT和DeepSeek生成Python代码；3) 将生成的代码提交到在线评测系统进行测试，记录评测结果（Accepted, Wrong Answer, Time Limit Exceeded等）；4) 使用Pylint和Flake8等代码质量检查工具对生成的代码进行静态分析；5) 统计和分析评测结果、代码质量指标以及执行时间和内存占用等数据，进行对比分析。

关键创新：论文的关键创新在于其评估方法的系统性和客观性。通过在线评测系统，可以获得对代码正确性的客观评价，避免了人工评价的主观性。同时，结合代码质量检查工具和效率指标，可以全面评估模型的性能。此外，论文还关注了模型在不同类型问题上的表现差异，例如算法问题和一般编程问题。

关键设计：研究中，每个编程挑战最多允许模型进行三次尝试。对于代码质量的评估，使用了Pylint和Flake8等常用的Python代码质量检查工具，并设置了相应的评分标准。对于执行时间和内存占用的测量，使用了在线评测系统提供的工具。此外，论文还对不同类型的问题进行了分类，以便更细致地分析模型的性能。

📊 实验亮点

DeepSeek在算法问题上的正确率显著高于ChatGPT，通常首次尝试即可通过在线评测。虽然ChatGPT在代码质量方面表现略好，且执行时间和内存占用略低，但DeepSeek在解决算法问题方面的优势更为突出。这表明DeepSeek在理解和生成复杂逻辑代码方面具有更强的能力。

🎯 应用场景

该研究成果可应用于AI辅助软件开发工具的选型和优化，帮助开发者选择更合适的代码生成模型，提高开发效率和代码质量。此外，研究结果还可以为大型语言模型的训练和改进提供指导，推动AI在软件开发领域的更广泛应用。未来，可以将该评估方法推广到其他编程语言和更复杂的软件开发任务中。

📄 摘要（原文）

Background: AI-powered code generation, fueled by Large Language Models (LLMs), is revolutionizing software development. Models like OpenAI's Codex and GPT-4, alongside DeepSeek, leverage vast code and natural language datasets. However, ensuring code quality, correctness, and managing complex tasks remains challenging, necessitating thorough evaluation. Methodology: This research compares ChatGPT (version o1) and DeepSeek (version R1) for Python code generation using online judge coding challenges. It evaluates correctness (online judge verdicts, up to three attempts), code quality (Pylint/Flake8), and efficiency (execution time/memory usage). Results: DeepSeek demonstrated higher correctness, particularly on algorithmic tasks, often achieving 'Accepted' on the first attempt. ChatGPT sometimes requires multiple attempts or failures. ChatGPT encountered fewer issues, used comparable or slightly less memory, consumed less execution times and wrote fewer lines of code. Conclusion: DeepSeek exhibited superior correctness in Python code generation, often requiring fewer attempts, suggesting an advantage in algorithmic problem-solving. Both models showed almost similar efficiency in execution time and memory use. Finally, this research provides insights for developers choosing AI coding assistants and informs future AI-driven software development research.