SWE-Prometheus: Measuring Engineering Governance Improvements in Real-World Repositories
作者: Jiajun Wu, Leixin Sun, Zihan Tan, Yitao Liu, Shuo Li, Jiaru Qian, Shanghaoran Quan, Chuangxin Zhao, Yangxu Liao, Yang Liu, Bin Chong, Guancheng Wan
分类: cs.AI, cs.SE
发布日期: 2026-09-24
💡 一句话要点
提出SWE-Prometheus以提升软件工程治理评估
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 软件工程治理 大型语言模型 代码库评估 风险识别 治理改进 多维度评估 开源项目 质量控制
📋 核心要点
- 现有的代码库治理评估方法主要集中在功能性补丁的验证，缺乏对治理改进的全面评估。
- SWE-Prometheus通过提供固定快照和开放式目标，要求代理识别风险并优先处理，从而提升治理评估的全面性。
- 实验结果显示，平均治理改善（NGI）在不同模型间差异显著，且治理维度的评估结果高度一致，强调了治理评估的多维度性。
📝 摘要（中文）
基于大型语言模型的编码代理在软件工程任务上取得了显著进展。然而，现有的基准测试通常仅从人类识别的问题出发，评估补丁是否满足功能信号。本文提出了SWE-Prometheus，一个用于改善代码库工程治理的基准。每个任务提供固定快照和开放式目标，要求代理识别风险、优先干预并验证结果变化。SWE-Prometheus通过配对证据、清洁环境探测、行为门控和两个独立教师评分来评估六个治理维度。基准包含60个代码库，评估了10个模型在共享的22个公共子集上的表现，平均治理改善（NGI）范围为0.0568到0.5760，观察到的行为破坏率从0%到23%。
🔬 方法详解
问题定义：本文旨在解决现有代码库治理评估方法的局限性，特别是它们通常只关注功能性补丁的验证，而忽视了治理改进的全面性和深度。
核心思路：SWE-Prometheus的核心思路是通过提供固定快照和开放式目标，要求编码代理识别潜在风险、优先干预并验证所做的更改，从而实现对治理改进的全面评估。
技术框架：整体架构包括多个模块：首先是固定快照的提供，其次是开放式目标的设定，接着是风险识别和干预优先级的确定，最后是对结果变化的验证。评估过程中还引入了配对证据和清洁环境探测等技术手段。
关键创新：最重要的技术创新在于通过六个治理维度的评估，结合行为门控和教师评分，形成了一种多维度的治理改进评估方法。这与现有方法的单一功能性评估形成了鲜明对比。
关键设计：在参数设置上，采用了多种治理维度的评估标准，损失函数设计上注重行为保持与治理改善的平衡，网络结构则结合了多种模型的表现，以确保评估的全面性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，十个模型在22个公共子集上的平均治理改善（NGI）范围为0.0568到0.5760，行为破坏率从0%到23%不等。特别是，在一个冻结的十个代码库批次中，使用无操作条件的模板获得了平均NGI 0.272，显示出在测试与持续集成、质量门控和文档方面的显著提升。
🎯 应用场景
SWE-Prometheus的研究成果可广泛应用于软件工程领域，尤其是在代码库治理和质量控制方面。通过提供更全面的治理评估，开发团队能够更有效地识别和解决潜在风险，从而提升软件质量和维护性。未来，该方法还可能影响开源项目的治理模式，推动更高效的协作与管理。
📄 摘要（原文）
Large language model based coding agents have made substantial progress on repository-level software engineering tasks. Existing repository benchmarks, however, usually start from a human-identified issue and evaluate whether a patch satisfies a functional signal. We present SWE-Prometheus, a benchmark for the broader task of improving repository engineering governance. Each task provides a fixed snapshot and an open-ended objective, requiring the agent to identify risks, prioritize interventions, and verify the resulting changes. SWE-Prometheus evaluates six governance dimensions through paired evidence, clean-environment probes, behavior gates, and two independent teacher ratings of the same evidence. The benchmark contains 60 repositories; ten models are evaluated on a shared 22-repository public subset, where mean Normalized Governance Improvement ranges from 0.0568 to 0.5760 and observed behavior-breakage rates range from 0% to 23%. On a frozen ten-repository batch, a repository-blind template obtains mean NGI 0.272, but its gains concentrate in Tests & CI, Quality Gates, and Documentation; it improves Reproducible Environment and Dependency & Security on none of the repositories. This baseline makes the distinction between adding governance artifacts and producing execution-backed improvements measurable. The no-op condition has median NGI zero and standard deviation 0.073; two teachers agree exactly on 57 of 60 dimension scores for the same no-op evidence. For the two highest conditional-mean systems, common-valid NGI is similar, while full-pool comparisons that include behavior failures favor Kimi-K3. These results show why repository-governance evaluation should report improvement, behavior preservation, evidence quality, and coverage together.