EvalRx: Agentic Diagnosis and Verified Repair of Foundation Models

📄 arXiv: 2610.25767v1 📥 PDF

作者: Jiaqi Liu, Ruinan Jin, Yitong Tang, Beidi Zhao, Gexin Huang, Qiong Zhang, Xiaoxiao Li

分类: cs.AI

发布日期: 2026-10-19

备注: 23 pages. Technical report. Code and artifacts: https://github.com/evalvitals/evalrx

💡 一句话要点

提出EvalRx框架以解决模型诊断与修复问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模型评估 模型修复 统计方法 可审计性 多模态学习

📋 核心要点

  1. 现有模型评估方法往往只能揭示模型的失败，而无法深入分析失败原因或验证修复措施的有效性。
  2. EvalRx框架通过系统性地诊断模型失败，提出可证伪的假设并进行验证，从而实现有效的模型修复。
  3. 在多种模型和模态组合下，EvalRx显著提升了模型性能，平均增幅达到5.8个百分点，展示了其有效性。

📝 摘要（中文）

模型评估能够揭示模型的失败之处，但很少能解释原因或验证修复措施的有效性。我们提出了EvalRx，一个开源的智能框架，用于基于统计的模型诊断和修复。EvalRx能够发现系统性失败模式，探索候选机制，制定可证伪的假设，并通过执行预设的测试来验证这些假设。在此基础上，利用支持的诊断方法指导分层修复。候选修复措施在未改变模型的情况下进行验证，仅在改善目标行为且没有不可接受的回归时才被采纳。在语言、视觉语言和音频语言等多种设置下，EvalRx在12个评估的模型家族-模态组合中均提升了性能，增幅范围为+1.4到+10.9个百分点（平均提升5.8个百分点）。这些结果表明，模型评估不仅可以用于测量失败，还可以支持可审计的诊断和修复过程。

🔬 方法详解

问题定义：本论文旨在解决现有模型评估方法无法深入分析模型失败原因及验证修复措施有效性的问题。现有方法缺乏系统性和可审计性，导致修复过程不透明。

核心思路：EvalRx框架的核心思想是通过统计方法进行模型诊断，发现系统性失败模式，并制定可证伪的假设进行验证，从而实现有效的模型修复。

技术框架：EvalRx的整体架构包括多个模块：首先进行模型评估以发现失败模式，然后探索候选修复机制，接着制定假设并通过执行预设测试进行验证，最后根据验证结果进行分层修复。

关键创新：EvalRx的主要创新在于其系统性诊断和修复流程，结合了统计方法与可审计的测试机制，与现有方法相比，提供了更为透明和可靠的修复过程。

关键设计：在设计中，EvalRx采用了分层修复策略，确保候选修复措施在未改变模型的情况下进行验证，且仅在改善目标行为且无不可接受回归时才被采纳。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在对Gemini、Qwen、Gemma和Nemotron等模型的评估中，EvalRx在12个模型家族-模态组合中均实现了性能提升，增幅范围为+1.4到+10.9个百分点，平均提升5.8个百分点，显示出其在多种应用场景下的有效性。

🎯 应用场景

EvalRx框架在多模态模型的评估与修复中具有广泛的应用潜力，能够为自然语言处理、计算机视觉及音频处理等领域提供有效的模型优化方案。其可审计的修复过程将推动模型开发的透明性和可靠性，促进更高效的人工智能系统的构建。

📄 摘要（原文）

Model evaluation reveals where models fail, but rarely why or whether a proposed fix genuinely works. We introduce EvalRx, an open-source agentic framework for statistically grounded model diagnosis and repair. EvalRx discovers systematic failure modes, explores candidate mechanisms, formulates falsifiable hypotheses, and verifies them by executing frozen, pre-specified tests before using supported diagnoses to guide tiered repair. Candidate repairs are validated against the unchanged model and promoted only when they improve the target behavior without unacceptable regression. Across language, vision-language, and audio-language settings spanning Gemini, Qwen, Gemma, and Nemotron, EvalRx improves performance in all 12 evaluated model family-modality combinations, with gains ranging from +1.4 to +10.9 percentage points (+5.8 points on average). These results show that model evaluation can serve not only to measure failures, but to support an auditable process for diagnosing and repairing them.