ACWM-RM: A Reference-Free Reward Model from Complementary Mismatch Preferences
作者: Shibo Hong, Siyu Ren, FengJiao Chen, Zhongyuan Peng, Wei Shi, Yixin Cao
分类: cs.CV
发布日期: 2026-10-23
💡 一句话要点
提出ACWM-RM以解决视频质量与动作跟随评估的奖励模型问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 奖励模型 视频生成 动作跟随 视觉质量评估 多模态学习 数据集构建
📋 核心要点
- 现有的奖励模型在评估生成视频的视觉质量和动作跟随忠实度时存在显著不足，无法提供可靠的奖励信号。
- 本文提出ACWM-RM，通过构建偏好数据集，联合评估视觉质量和动作跟随忠实度，解决了现有方法的局限性。
- 实验结果表明，ACWM-RM在AVM-Eval上表现出色，超越了传统奖励基线，显示出更高的评估可靠性。
📝 摘要（中文）
强化学习在改善动作条件世界模型（ACWMs）方面引起了关注，能够在流匹配优化之外实现视觉质量（VQ）和动作跟随忠实度（AF）的奖励驱动优化。然而，现有的奖励信号只能捕捉单一维度，导致在评估生成视频时存在局限性。本文提出了ACWM-RM，一个无需真实视频的奖励模型，能够联合评估VQ和AF。通过构建包含506.3k对的动作和视频不匹配偏好数据集（AVM-Pref），并在AVM-Eval上进行评估，结果显示ACWM-RM在两个标准上均优于现有奖励基线。
🔬 方法详解
问题定义：本文旨在解决现有奖励模型在评估生成视频的视觉质量（VQ）和动作跟随忠实度（AF）时的不足。现有方法往往只能评估单一维度，导致生成视频的评估不可靠。
核心思路：ACWM-RM模型通过构建动作和视频不匹配偏好数据集（AVM-Pref），实现了在没有真实视频的情况下，联合评估VQ和AF的能力。该方法通过引入互补监督信号，提升了模型的评估准确性。
技术框架：整体架构包括数据集构建、预训练和联合训练三个主要阶段。首先构建AVM-Pref数据集，然后在真实视频上预训练动作条件预测器，最后与补丁加权评分头共同训练以实现AF评估。
关键创新：最重要的创新在于提出了AVM-Pref数据集和ACWM-RM模型，使得在没有真实视频的情况下，能够有效评估生成视频的VQ和AF。这一方法与传统的基于真实视频的评估方法本质上不同。
关键设计：在模型设计中，采用了补丁加权评分头来增强对生成视频的评估能力，并通过互补的动作和视频不匹配对进行监督，确保模型能够学习到有效的动态特征。
🖼️ 关键图片
📊 实验亮点
在AVM-Eval评估中，ACWM-RM显示出对生成视频的评估可靠性显著提升，相较于传统的逆动态模型（IDM），在视觉质量和动作跟随忠实度两个标准上均表现出更优的性能，具体提升幅度未知。
🎯 应用场景
该研究的潜在应用领域包括视频生成、自动驾驶、机器人控制等场景，能够为这些领域提供更可靠的评估机制，提升系统的智能化水平。未来，ACWM-RM有望在多模态学习和人机交互等领域发挥重要作用。
📄 摘要（原文）
Reinforcement learning has gained attention for improving action-conditioned world models (ACWMs), as it enables reward-driven optimization of visual quality (VQ) and action-following fidelity (AF) beyond flow-matching optimization. Realizing this potential requires reward signals that reliably rank videos by both VQ and AF. However, existing rewards capture only one dimension: metric-based rewards assess VQ but require ground-truth videos and do not directly assess AF, while inverse dynamics model (IDM) rewards assess AF without references but do not guarantee VQ. Moreover, IDMs, typically trained on real videos, may provide unreliable rewards for generated videos containing visual artifacts and physical inconsistencies. In this work, we introduce the Action and Video Mismatch Benchmark (AVM-Eval), comprising 67.2k pairs that evaluate how reliably IDMs assess AF on real and generated videos. We then propose ACWM-RM, a reward model that jointly assesses VQ and AF without ground-truth videos during reward computation. To train it, we first construct the Action and Video Mismatch Preference Dataset (AVM-Pref) with 506.3k pairs providing complementary supervision: action-mismatch pairs supervise AF, while video-mismatch pairs supervise VQ and expose the model to generated videos. We then pretrain an action-conditioned predictor on real videos to learn forward dynamics before jointly training it with a patch-weighted score head on AVM-Pref to transfer these dynamics to AF assessment on generated videos. Evaluation on AVM-Eval reveals the limited reliability of IDMs on generated videos, while downstream RL experiments show that ACWM-RM outperforms reward baselines in both criteria.