Multi-Task Reinforcement Learning for Enhanced Multimodal LLM-as-a-Judge

📄 arXiv: 2603.11665v1 📥 PDF

作者: Junjie Wu, Xuan Kan, Zihao He, Shunwen Tan, Bo Pan, Kaitai Zhang

分类: cs.CL

发布日期: 2026-03-12

💡 一句话要点

提出MT-RL-Judge，利用多任务强化学习提升多模态LLM评判能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大型语言模型 强化学习 多任务学习 评判模型 泛化能力

📋 核心要点

  1. 现有MLLM评判器通常针对单任务优化，泛化能力不足，难以适应多样化的评估场景。
  2. MT-RL-Judge框架利用多任务强化学习，联合优化多个任务的评判模型，提升泛化能力。
  3. 实验表明，MT-RL-Judge在判断一致性、与人类偏好相关性以及分布外泛化能力上均优于现有方法。

📝 摘要（中文）

多模态大型语言模型(MLLM)因其在各种视觉任务中与人类判断的高度一致性而被广泛用作MLLM评判器。然而，现有的大多数评判模型都针对单任务场景进行了优化，难以泛化到不同的上下文中，而这对于可靠的评估至关重要。为了解决这个局限性，我们提出了用于MLLM评判器的多任务强化学习(MT-RL-Judge)框架，该框架通过利用强化学习的泛化能力，联合优化多个任务的评判模型。与多个强大的基线模型相比，实验结果表明MT-RL-Judge在判断一致性和与人类偏好的相关性方面均优于基线模型。此外，我们的方法在分布外任务上表现出强大的泛化能力，进一步验证了其有效性。

🔬 方法详解

问题定义：现有MLLM评判器主要针对特定任务设计，缺乏跨任务的泛化能力。在面对新的、未知的评估场景时，其判断的准确性和可靠性会显著下降。这限制了MLLM评判器在实际应用中的广泛使用，尤其是在需要对多种不同类型的视觉任务进行综合评估的场景下。现有方法难以平衡不同任务之间的差异，导致模型在某些任务上表现良好，而在其他任务上表现不佳。

核心思路：论文的核心思路是利用多任务强化学习（Multi-Task Reinforcement Learning）来训练MLLM评判器。通过同时学习多个任务，模型可以学习到更通用的特征表示和判断策略，从而提高其在不同任务上的泛化能力。强化学习的奖励机制可以引导模型学习与人类偏好更一致的判断标准。

技术框架：MT-RL-Judge框架包含以下几个主要模块：1) MLLM评判器：作为强化学习的智能体，负责对给定的多模态输入进行判断。2) 多任务环境：包含多个不同的视觉任务，每个任务都有自己的奖励函数。3) 强化学习算法：使用强化学习算法（具体算法未知）来优化MLLM评判器的参数，使其在多个任务上都能获得较高的奖励。整体流程是：MLLM评判器接收多模态输入，输出判断结果；多任务环境根据判断结果和任务目标计算奖励；强化学习算法根据奖励更新MLLM评判器的参数。

关键创新：该方法最重要的创新点在于将多任务强化学习应用于MLLM评判器的训练。这使得模型能够同时学习多个任务，从而提高其泛化能力和鲁棒性。与传统的单任务训练方法相比，MT-RL-Judge能够更好地适应不同的评估场景，并做出更准确、更可靠的判断。此外，利用强化学习的奖励机制，可以使模型的判断结果更接近人类的偏好。

关键设计：论文中关于强化学习算法的具体选择、奖励函数的设计、以及MLLM评判器的网络结构等关键设计细节未知。这些细节对于模型的性能至关重要，需要在实际应用中进行仔细的调整和优化。例如，奖励函数的设计需要能够准确地反映人类的偏好，并且能够平衡不同任务之间的差异。MLLM评判器的网络结构需要能够有效地提取多模态输入中的特征，并进行准确的判断。

📊 实验亮点

实验结果表明，MT-RL-Judge在判断一致性和与人类偏好的相关性方面均优于多个强大的基线模型。更重要的是，该方法在分布外任务上表现出强大的泛化能力，这意味着它能够很好地适应新的、未知的评估场景。具体的性能数据和提升幅度未知，但整体结果表明MT-RL-Judge是一种有效的MLLM评判器训练方法。

🎯 应用场景

该研究成果可应用于各种需要多模态内容评估的场景，例如：自动驾驶系统的安全性评估、医疗影像诊断的辅助评估、以及多媒体内容质量的自动评估。通过提高MLLM评判器的准确性和可靠性，可以减少人工评估的成本，并提高评估效率。此外，该方法还可以用于训练更智能的AI助手，使其能够更好地理解和评估多模态信息。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) have been widely adopted as MLLM-as-a-Judges due to their strong alignment with human judgment across various visual tasks. However, most existing judge models are optimized for single-task scenarios and struggle to generalize to diverse contexts, which is a critical requirement for reliable evaluation. To address this limitation, we propose Multi-Task Reinforcement Learning for MLLM-as-a-Judge (MT-RL-Judge), a framework that jointly optimizes the judge model across multiple tasks, leveraging the generalization capabilities of RL. Experimental results against several strong baselines demonstrate that MT-RL-Judge outperforms strong baselines in both judgment consistency and correlation with human preferences. Furthermore, our approach exhibits robust generalization on out-of-distribution tasks, further validating its effectiveness.