How Much Evidence Should a Coding Agent's Self-Correction Carry? Adaptive Dirichlet Evidence for Self-Distillation

📄 arXiv: 2610.08514v1 📥 PDF

作者: Yunbo Long, Guangya Hao, Yuhan Liu, Yiting Duan, Longyan Tan, Yunchen Long, Hao Wu

分类: cs.AI, cs.SE

发布日期: 2026-10-06

💡 一句话要点

提出有效证据自蒸馏方法以优化编码代理的自我修正

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自我修正 有效证据 自蒸馏 编码代理 机器学习 Dirichlet后验 负对数似然 执行反馈

📋 核心要点

  1. 现有方法在编码代理的自我修正中未能有效区分证据支持与证据质量，导致学习效率低下。
  2. 本文提出的有效证据自蒸馏（EESD）方法，通过归一化执行相关性和Dirichlet后验，优化了修正学习的权重计算。
  3. 实验结果表明，增加观察数量显著降低了未来结果的NLL，且有效质量在所有比较中表现优于固定质量。

📝 摘要（中文）

执行反馈使编码代理能够修正程序并从自身的修正中学习。修正的学习权重应反映其执行所支持的转变和背后证据的数量。本文提出了有效证据自蒸馏（EESD），分别表示这些量。归一化执行相关性确定相对转变支持和有效伪计数质量；然后，Dirichlet后验生成一个不确定性惩罚的权重用于KL锚定的修正学习。在对称先验下，改变质量保持类别排序，有效质量产生一个受限于其匹配固定质量对应物的监督系数。在四个模型领域历史的实验中，观察数量从一个增加到八个，未来结果的负对数似然（NLL）减少了55.0-59.3%。在八个观察下，有效质量在所有四个比较中都实现了低于固定质量的NLL。

🔬 方法详解

问题定义：本文旨在解决编码代理在自我修正过程中，如何有效地评估和利用执行反馈的问题。现有方法未能充分考虑证据支持与证据质量的区别，导致修正学习的效果不理想。

核心思路：论文提出的有效证据自蒸馏（EESD）方法，通过分别量化执行支持和证据质量，优化了修正学习的权重计算。这种设计使得代理能够更准确地学习自我修正的有效性。

技术框架：EESD的整体架构包括归一化执行相关性计算、Dirichlet后验生成和不确定性惩罚的权重计算三个主要模块。首先，通过执行反馈计算相对转变支持，然后生成有效伪计数质量，最后结合这些信息进行修正学习。

关键创新：EESD的核心创新在于将证据支持与证据质量分开处理，改变了传统方法中将两者混合的做法。这一创新使得编码代理在自我修正时能够更灵活地调整学习权重，从而提高学习效率。

关键设计：在EESD中，归一化执行相关性用于确定转变支持，Dirichlet后验用于生成不确定性惩罚的权重。此外，实验中采用了对称先验和有效质量的设计，确保了学习过程中的稳定性和有效性。具体参数设置和损失函数的设计也经过了精心调整，以适应不同的模型和任务。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，随着观察数量的增加，未来结果的负对数似然（NLL）减少了55.0-59.3%。在八个观察下，有效质量在所有四个比较中均优于固定质量。此外，DeepSeek/CodeARC的测试通过率从15.0%提升至20.4%，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括自动编程、代码修复和智能编程助手等。通过优化编码代理的自我修正能力，可以显著提高编程效率和代码质量，推动智能编程技术的发展，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Execution feedback lets coding agents revise programs and learn from their own corrections. A correction's learning weight should reflect both the transitions supported by its executions and the amount of evidence behind that support. We introduce Effective-Evidence Self-Distillation (EESD), which represents these quantities separately. Normalized execution relevance determines relative transition support and an effective pseudo-count mass; a Dirichlet posterior then produces an uncertainty-penalized weight for KL-anchored correction learning. Under a symmetric prior, changing mass preserves category ordering, and effective mass yields a supervised coefficient bounded by its matched fixed-mass counterpart. Across four model-domain history sweeps, increasing visible observations from one to eight reduces future-outcome NLL by 55.0-59.3%. At eight observations, effective mass achieves lower NLL than fixed mass in all four comparisons. In the primary matched DeepSeek/RunBugRun study, argmax predictions agree on all 3,000 examples, with the largest NLL gain under concentrated relevance. After one correction-learning round, DeepSeek/CodeARC all-tests Pass@1 increases from 15.0% to 20.4%, with a paired 95% source-bootstrap interval of [+2.8, +8.0] percentage points. The twelve-setting downstream evaluation establishes the model-domain scope of this update. These results show how separating evidence support from evidence mass changes probability estimation and correction learning in coding agents.