Do MLLM Judges Judge the Edit? Auditing Bias in Image Editing Evaluation with Verified Quality Preservation

📄 arXiv: 2610.01670v1 📥 PDF

作者: Yuan Huang, Zirui Song, Xiuying Chen

分类: cs.CV, cs.LG

发布日期: 2026-10-01

备注: 30 pages, 9 figures

💡 一句话要点

提出EditJudgeBias以解决MLLM评估图像编辑偏差问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 图像编辑评估 质量保留 偏差审计 自动评估系统

📋 核心要点

  1. 现有的MLLM评估方法难以系统性审计其是否受到无关线索的影响，导致评估结果的偏差。
  2. 本文提出EditJudgeBias基准，通过验证质量保留来审计MLLM评估者的判断，确保评估的公正性。
  3. 实验结果表明，质量保留线索显著影响评估者的判断，且不同评估者在鲁棒性上存在显著差异。

📝 摘要（中文）

多模态大语言模型（MLLM）越来越多地被用作基于指令的图像编辑的自动评估者和模型训练的奖励信号。然而，系统性审计这些评估者是否受到与编辑质量无关的线索影响是具有挑战性的。为了解决这一问题，本文提出了EditJudgeBias，一个具有验证质量保留的反事实基准，包含1196个真实编辑样本和13个注入线索。通过校准的多模态验证器、控制和人工检查，我们验证了所请求编辑的质量保留。随后，我们审计了五个MLLM评估者在三个互补维度上的表现。实验结果显示，质量保留线索使每个评估者的判断超出了自身噪声水平，且不同的评估者在鲁棒性上表现出显著差异。

🔬 方法详解

问题定义：本文旨在解决MLLM在图像编辑评估中可能受到无关线索影响的问题。现有方法缺乏有效的审计机制，导致评估结果的可靠性受到质疑。

核心思路：通过引入EditJudgeBias基准，验证编辑质量的保留，确保评估者的判断不受外部干扰，从而实现对评估偏差的有效审计。

技术框架：整体流程包括数据收集、质量保留验证、评估者审计三个主要模块。首先收集1196个真实编辑样本，并注入13个线索；然后通过多模态验证器和人工检查验证质量保留；最后对五个MLLM评估者进行审计。

关键创新：最重要的创新在于提出了一个具有验证质量保留的反事实基准，能够系统性地审计评估者的判断偏差，与现有方法相比，提供了更为可靠的评估机制。

关键设计：在实验中，采用了校准的多模态验证器，结合控制组和人工检查，确保质量保留的验证过程严谨可靠。评估者的判断则通过与人类判断的比较、对质量保留线索的敏感性等多维度进行分析。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，质量保留线索使每个评估者的判断超出了自身噪声水平，且不相关的视觉元素导致的判断偏差大于整体图像操作。评估者的配对决策中，候选顺序的交换可逆转高达60.9%的决策，显示出评估者在判断上的不稳定性。

🎯 应用场景

该研究的潜在应用领域包括图像编辑软件的自动评估、机器学习模型的训练优化以及多模态系统的性能提升。通过提供更可靠的评估机制，能够推动图像处理和生成领域的技术进步，提升用户体验和应用效果。

📄 摘要（原文）

Multimodal large language models (MLLMs) are increasingly used as automated judges for instruction-based image editing and as reward signals for model training. However, systematically auditing whether these judges are influenced by cues irrelevant to editing quality is challenging because visual interventions may themselves alter the quality being evaluated. A judgment shift can therefore be attributed to bias only when the intervention is verified to preserve the underlying editing quality. To address this challenge, we introduce EditJudgeBias, a counterfactual benchmark with verified quality preservation, comprising 1,196 real editing samples and 13 cues injected across four evaluation sites. We verify quality preservation for the requested edit using calibrated multimodal validators, controls, and human inspection. We then audit five MLLM judges along three complementary dimensions: invariance to quality-preserving cues, agreement with human judgments, and stability of pairwise preferences. Importantly, observed shifts are evaluated against each judge's own zero-dose and re-query noise floors rather than against zero. Experiments show that quality-preserving cues move every judge beyond its own noise. Fabricated majority opinions increase ratings, irrelevant visual elements cause larger shifts than whole-image manipulations, and swapping candidate order reverses up to 60.9% of pairwise decisions. Edit-region cues also tend to reduce human agreement. The three measures characterize judges differently, showing that robustness cannot be captured by a single metric.