Beyond Reward Scoring: Online Multi-Agent Preference Learning for Multimodal Response Generation

📄 arXiv: 2610.23256v1 📥 PDF

作者: Ziyun Zou, Jiwoo Hong, Yifan Lu, Shao Tang, Weiyi Wu, Aman Gupta, Jin Tian, Imran Razzak

分类: cs.AI

发布日期: 2026-10-16

备注: 32 pages, 4 figures

💡 一句话要点

提出PrefMind以解决多模态响应生成中的偏好理解问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态响应生成 偏好学习 强化学习 人类反馈 生成模型

📋 核心要点

  1. 现有的基于评分的RLHF方法在偏好理解上存在不足，模型往往只关注生成高评分的答案，而忽视了偏好的内在原因。
  2. 本文提出的PrefMind框架通过引入偏好评论员，促使生成器在生成过程中理解和修正人类偏好，从而提高响应质量。
  3. 实验结果显示，PrefMind在多个模型规模上均实现了偏好判断和响应生成的显著提升，验证了其有效性。

📝 摘要（中文）

多模态偏好对齐通常遵循基于评分的强化学习人类反馈（RLHF）流程：首先训练奖励模型以学习人类偏好，然后用于对策略响应进行评分并优化响应模型的生成。这种方法将偏好监督转化为生成的标量信号，模型可能学习生成具有更高偏好评分的答案，但很少明确训练以理解人类偏好的原因。因此，本文提出了PrefMind，一个在线双代理强化学习框架，包含响应生成器和偏好评论员两个可训练代理。通过分析候选响应对，代理讨论哪个响应更符合人类偏好，并在人工标签的监督下进行判断和修正。实验表明，PrefMind在独立偏好判断和下游响应生成方面均有显著提升。

🔬 方法详解

问题定义：本文旨在解决多模态响应生成中对人类偏好的理解不足的问题。现有方法仅依赖于评分信号，缺乏对偏好原因的深入理解。

核心思路：提出PrefMind框架，通过引入两个可训练的代理——响应生成器和偏好评论员，使得生成器能够在生成过程中理解人类偏好，并通过反馈进行修正。

技术框架：PrefMind的整体架构包括两个主要模块：响应生成器负责生成候选响应，偏好评论员则对候选响应进行分析和判断。两者通过人类标签进行监督，并在交互中共同更新。

关键创新：PrefMind的创新在于将偏好理解作为生成器的内在能力，通过双代理的设计使得生成器不仅生成高评分的答案，还能理解偏好的原因，从而提升生成质量。

关键设计：在设计中，生成器和评论员的损失函数均考虑了人类偏好的反馈，网络结构采用了强化学习的框架，确保两者能够有效地进行交互和学习。具体参数设置和网络结构细节在实验部分进行了详细说明。

📊 实验亮点

实验结果表明，PrefMind在偏好判断和响应生成方面均有显著提升。在多个模型规模上，生成器的性能提升幅度达到XX%，相较于基线方法表现出更好的偏好对齐能力和生成质量。

🎯 应用场景

该研究的潜在应用领域包括智能对话系统、个性化推荐和人机交互等。通过更好地理解人类偏好，PrefMind能够提升生成模型的响应质量，增强用户体验，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Multimodal preference alignment often follows a score-based RLHF pipeline: a reward model is first trained to learn human preferences, then used to score on-policy responses and optimize the response model's generation. This turns preference supervision into a scalar signal for generation: a model may learn to produce answers with higher preference scores, but is rarely trained explicitly to learn the reasons underlying human preferences. We therefore ask whether making preference understanding an internal capability of the response model can improve its generation. To investigate this question, we propose \textbf{PrefMind}, an online dual-agent reinforcement learning framework with two trainable agents: a response Generator and a preference Critic. Given a pair of candidate responses, the agents analyze and discuss which response better aligns with human preference. Human labels supervise their judgments and corrections. For pairs on which both the Generator and revised Critic correctly identify the human-preferred response, the Generator produces an improved answer, and the Critic compares it against the original preferred response to provide a generation reward. Both agents are jointly updated from interactions sampled with their current policies. Through this process, \textbf{PrefMind} trains the Generator to understand human preferences via explicit judgment and correction, and to translate this understanding into better responses. Experiments across three model scales show improvements in both standalone preference judgment and downstream response generation.