CATArena: Evaluating Evolutionary Capabilities of Code Agents via Iterative Tournaments
作者: Lingyue Fu, Xin Ding, Linyue Pan, Yaoming Zhu, Shao Zhang, Lin Qiu, Weiwen Liu, Weinan Zhang, Xuezhi Cao, Xunliang Cai, Jiaxin Ding, Yong Yu
分类: cs.AI, cs.CL
发布日期: 2025-10-30 (更新: 2026-01-30)
💡 一句话要点
CATArena：通过迭代竞赛评估代码智能体的演化能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 代码智能体 演化能力 迭代竞赛 自我反思 同伴学习
📋 核心要点
- 现有代码智能体评估侧重单轮代码生成，忽略了多轮迭代优化和演化能力。
- CATArena框架通过迭代竞赛，结合自我反思和同伴学习，评估代码智能体的演化潜力。
- 实验表明智能体的初始能力与演化潜力并非强相关，且现有智能体难以有效结合同伴学习和自我反思。
📝 摘要（中文）
当前对大型语言模型（LLM）代码智能体的评估主要集中在单轮场景中生成功能代码，这无法评估智能体持续代码优化和多轮迭代开发的能力。为了弥补这一差距，我们提出了CATArena，一个旨在通过迭代竞赛评估代码智能体演化能力的框架。智能体参与多轮竞赛，并通过基于全面执行反馈的自我反思和同伴学习不断改进其代码。对于评估，我们提出了一个双重指标系统，将静态生成能力与演化潜力分离。大量实验表明，智能体的演化潜力与其初始能力并非严格相关。我们的分析进一步表明，当前的智能体难以同时利用同伴学习和自我反思来获得有效的性能提升。此外，结果验证了CATArena的高可扩展性和对各种任务的抵抗能力，使其成为评估LLM代码智能体演化能力的持续可靠的标准。
🔬 方法详解
问题定义：现有的大语言模型代码智能体评估方法主要关注单轮的代码生成能力，缺乏对智能体在多轮迭代开发过程中持续优化和演化能力的有效评估。现有的评估方法无法充分反映智能体在实际软件开发中的潜力，因为软件开发通常是一个迭代和演化的过程。
核心思路：CATArena的核心思路是通过构建一个迭代竞赛环境，让代码智能体在多轮交互中不断改进和优化其代码。智能体通过执行反馈进行自我反思，并从其他智能体的代码中进行同伴学习，从而提升其代码质量和解决问题的能力。这种迭代和演化的过程能够更全面地评估智能体的实际开发能力。
技术框架：CATArena框架包含以下主要模块：1) 竞赛环境：提供代码执行和反馈的平台。2) 代码智能体：参与竞赛并进行代码生成和优化的智能体。3) 自我反思机制：智能体根据执行反馈改进自身代码的机制。4) 同伴学习机制：智能体从其他智能体的代码中学习的机制。5) 双重指标系统：用于评估智能体的静态生成能力和演化潜力的指标体系。整个流程是智能体在竞赛环境中进行多轮迭代，通过自我反思和同伴学习不断优化代码，最终通过双重指标系统进行评估。
关键创新：CATArena的关键创新在于其迭代竞赛的评估范式和双重指标系统。传统的评估方法只关注单轮代码生成，而CATArena通过多轮迭代来评估智能体的演化能力。双重指标系统将静态生成能力和演化潜力分离，能够更全面地评估智能体的性能。此外，CATArena框架具有高可扩展性和对各种任务的抵抗能力，使其能够适应不同的评估场景。
关键设计：CATArena的关键设计包括：1) 迭代轮数：设置合适的迭代轮数，以保证智能体有足够的时间进行优化和演化。2) 反馈机制：提供全面的执行反馈，包括错误信息、性能指标等，帮助智能体进行自我反思。3) 同伴学习策略：设计有效的同伴学习策略，例如选择优秀的代码进行学习，避免引入错误的代码。4) 指标权重：合理设置静态生成能力和演化潜力的指标权重，以反映不同的评估目标。
🖼️ 关键图片
📊 实验亮点
实验结果表明，智能体的演化潜力与其初始能力并非严格相关，这意味着即使初始能力较弱的智能体，通过有效的迭代和学习，也可能达到较高的性能水平。此外，实验还发现，当前的智能体难以同时利用同伴学习和自我反思来获得有效的性能提升，这表明在设计代码智能体时，需要更加关注如何有效地结合这两种机制。
🎯 应用场景
CATArena可用于评估和提升大型语言模型在软件开发领域的应用能力，例如自动化代码生成、代码修复、代码优化等。通过CATArena的评估，可以更好地了解不同代码智能体的优缺点，从而选择合适的智能体来解决实际的软件开发问题。此外，CATArena还可以促进代码智能体的研究和发展，推动软件开发自动化水平的提升。
📄 摘要（原文）
Current evaluation for Large Language Model (LLM) code agents predominantly focus on generating functional code in single-turn scenarios, which fails to evaluate the agent's capability for continuous code optimization and multi-turn iterative development. To bridge this gap, we introduce CATArena, a framework designed to evaluate the evolutionary capabilities of code agents via iterative tournaments. Agents engage in multi-turn tournaments and continuously refine their code through self-reflection and peer-learning based on comprehensive execution feedback. For evaluation, we propose a dual-metric system to decouple static generation proficiency from evolutionary potential. Extensive experiments reveal that an agent's evolutionary potential is not strictly correlated with its initial proficiency. Our analysis further reveals that current agents struggle to concurrently leverage both peer-learning and self-reflection for effective performance gains. Furthermore, the results validate CATArena's high extensibility and resistance to variance tasks, establishing it as a continuous and reliable standard for assessing the evolutionary capability of LLM code agents.