CheckDistill: Adaptive Checklist Distillation for Efficient Distributional Reward Modeling in Image Editing

📄 arXiv: 2610.26740v1 📥 PDF

作者: Yaqi Cai, Zuan Gao, Mengting Chen, Wei Li, Bo Zheng

分类: cs.CV

发布日期: 2026-10-19

备注: 31 pages

💡 一句话要点

提出CheckDistill以解决图像编辑中的奖励建模问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 奖励建模 图像编辑 强化学习 自适应检查表 蒸馏训练

📋 核心要点

  1. 现有的奖励模型在处理多维编辑偏好时存在压缩信息和推理成本高的问题。
  2. CheckDistill通过将编辑条件分解为可验证的要求，构建四维评分标签来解决这一问题。
  3. 在MMRB2、MER-Bench和EditReward-Bench上，CheckDistill的准确率分别达到了72.30%、56.67%和82.90%，超越了所有对比基线。

📝 摘要（中文）

在指导性图像编辑的强化学习中，需要可靠、准确且高效的奖励模型。直接的标量预测压缩了多维编辑偏好，而生成评估器则通过明确的推理暴露其判断。然而，广泛的评分标准未能具体说明所有实例依赖的编辑和保留约束，生成长推理轨迹在在线优化中成本高昂。为此，本文提出了CheckDistill，一个点对点奖励建模框架，内部化了指令自适应检查表。通过将每个编辑条件分解为原子、独立可验证的要求，并构建四维评分标签及结构化验证证据，CheckDistill在多个基准测试中超越了现有的开源基线。

🔬 方法详解

问题定义：本文旨在解决在指导性图像编辑中，现有奖励模型在提供反馈时的可靠性和效率问题。现有方法往往无法充分捕捉多维编辑偏好，且生成推理轨迹的成本较高。

核心思路：CheckDistill的核心思路是通过内部化指令自适应检查表，将编辑条件分解为原子要求，从而实现更高效的奖励建模。该方法允许模型在没有复杂推理的情况下直接预测奖励。

技术框架：CheckDistill的整体架构包括四个主要模块：编辑条件分解、四维评分标签构建、教师-学生监督机制和自蒸馏目标。首先，将编辑条件分解为可验证的要求；然后，构建相应的评分标签；接着，利用教师模型指导学生模型的评分轨迹；最后，通过自蒸馏目标优化评分过程。

关键创新：CheckDistill的主要创新在于其将奖励建模与指令自适应检查表结合，能够在不依赖复杂推理的情况下，直接生成四个评分分布。这一设计显著提高了模型的效率和准确性。

关键设计：在设计上，CheckDistill采用了可靠性加权的在线自蒸馏目标，根据教师模型的期望评分与参考标签之间的一致性调整监督。此外，模型在评分时保留了候选概率权重，以支持更精确的奖励预测。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CheckDistill在MMRB2、MER-Bench和EditReward-Bench上分别取得了72.30%、56.67%和82.90%的准确率，显著超越了现有的开源基线，展示了其在奖励建模中的有效性和优势。

🎯 应用场景

CheckDistill在图像编辑、计算机视觉和人机交互等领域具有广泛的应用潜力。其高效的奖励建模方法可以提升图像编辑工具的智能化水平，使得用户在进行图像编辑时能够获得更为精准和实时的反馈，从而提高编辑效率和效果。未来，该方法也可能扩展到其他需要基于指令的决策任务中。

📄 摘要（原文）

Reinforcement learning for instruction-guided image editing requires reward models that provide reliable, accurate, and efficient feedback. Direct scalar prediction compresses multidimensional editing preferences, whereas generative evaluators can expose their judgment through explicit reasoning. However, broad scoring criteria do not specify all instance-dependent editing and preservation constraints, and generating long reasoning trajectories is costly for online optimization. We introduce CheckDistill, a pointwise reward modeling framework that internalizes instruction-adaptive checklists. We decompose each editing condition into atomic, independently verifiable requirements and construct four-dimensional scoring labels together with structured verification evidence. After supervised score initialization, a privileged teacher conditions on checklists, item-level judgments, and dimension-level rationales to supervise the student's own scoring trajectories. A reliability-weighted on-policy self-distillation objective adjusts supervision at score tokens according to agreement between the teacher's expected scores and reference labels, while retaining candidate probability weights in a truncated token support. The deployed student directly predicts four score distributions without checklist inputs or explicit reasoning and aggregates their expectations into a scalar reward. CheckDistill achieves aggregate accuracies of 72.30%, 56.67% and 82.90% on MMRB2, MER-Bench and EditReward-Bench, respectively, exceeding the compared open-source baselines on all three metrics.