Beyond the Verdict: Agentic Code Judging with Verifiable Feedback

📄 arXiv: 2610.18760v1 📥 PDF

作者: Zheye Deng, Sha Li, Changlong Yu, Xin Liu, Qin Lu, Priyanka Nigam, Yangqiu Song

分类: cs.AI

发布日期: 2026-10-13

备注: 28 pages

💡 一句话要点

提出ARBITER以解决编程竞赛中的反馈不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 编程竞赛 反馈机制 大型语言模型 混合专家 强化学习 代码优化 验证系统

📋 核心要点

  1. 现有的编程竞赛评判系统在有限提交预算下提供权威判决，但缺乏失败原因和输入的反馈，限制了学习和改进的机会。
  2. 本文提出ARBITER模型，通过仅使用问题描述和源代码来判断和诊断候选程序，生成反例作为可验证的反馈，提升了反馈的有效性。
  3. 实验结果表明，ARBITER在反例生成和判决准确性上均显著优于基线，尤其在IOI 2026案例研究中，提升了模型的预期得分。

📝 摘要（中文）

在大型语言模型的测试时间扩展中，生成多个候选解决方案并进行选择或修订是常见的需求。为了指导选择和修订，本文提出了一种模型，能够仅基于问题陈述和源代码对候选程序进行判断和诊断，并生成可检查的反例作为证据。通过构建USACO-JUDGE数据集并训练ARBITER，一个35B的混合专家验证器，实验结果显示其在错误程序上的反例成功率从40.61%提升至62.67%，在USACO-JUDGE上的二元判决准确率从71.41%提升至87.41%。此外，ARBITER在代码选择和优化方面也超越了基线模型。

🔬 方法详解

问题定义：本文旨在解决编程竞赛中官方评判系统反馈不足的问题，现有方法无法提供失败原因和输入，限制了程序员的学习和改进。

核心思路：提出ARBITER模型，利用问题描述和源代码对候选程序进行判断，生成反例作为可验证的反馈，从而提高反馈的有效性和程序的改进能力。

技术框架：整体架构包括数据集构建（USACO-JUDGE）、模型训练（ARBITER）和反馈生成。ARBITER是一个35B的混合专家验证器，采用强化学习在通用执行沙箱中进行训练。

关键创新：ARBITER的主要创新在于其能够在不消耗官方提交的情况下，提供有效的反馈和反例，显著提升了程序的验证和优化能力。

关键设计：训练过程中采用了强化学习策略，优化了反例生成的成功率，并通过调整损失函数和网络结构，提高了判决的准确性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，ARBITER在错误程序上的反例成功率从40.61%提升至62.67%，在USACO-JUDGE上的二元判决准确率从71.41%提升至87.41%。在IOI 2026案例研究中，ARBITER指导的优化使得模型的预期得分超过金牌阈值，表现出色。

🎯 应用场景

该研究的潜在应用领域包括编程教育、自动化代码评审和智能编程助手等。通过提供有效的反馈，ARBITER可以帮助程序员更快地识别和修复错误，提升编程技能，具有重要的实际价值和未来影响。

📄 摘要（原文）

Test-time scaling for large language models (LLMs) can involve generating multiple candidate solutions for selection or revising an earlier attempt. To guide selection and revision, we need a verifier that can estimate candidate correctness and provide evidence of failure. In competitive programming, however, official judging systems provide authoritative verdicts under finite submission budgets, without revealing failure explanations or failing inputs. To provide informative feedback without consuming official submissions, we formulate a task in which a model judges and diagnoses a candidate program using only the problem statement and source code, with generated counterexamples serving as checkable evidence. To evaluate this task, we build USACO-JUDGE from the USACO 2026 contests, using accepted and unaccepted programs written by human experts and multiple LLMs. We then train ARBITER, a 35B mixture-of-experts (MoE) agentic verifier, with reinforcement learning in a generic execution sandbox. Training raises counterexample success on incorrect programs from 40.61% to 62.67% and mean binary verdict accuracy on USACO-JUDGE from 71.41% to 87.41%, approaching frontier verification performance. Beyond verification, ARBITER outperforms baselines in both code selection and refinement. In an IOI 2026 case study, ARBITER-guided refinement raises GPT-OSS-120B's expected score above the gold-medal threshold under the official submission limit.