A Plausible Explanation Is Enough to Mislead Multimodal Judges

📄 arXiv: 2610.22631v1 📥 PDF

作者: Anglin Cai, Zhiqi Wang, Xiaozhi Yang, Yurun Lin, Dongwon Lee, Yuchen Yang

分类: cs.CL, cs.AI

发布日期: 2026-10-15

💡 一句话要点

提出JUPE基准以揭示多模态模型的判断偏差

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大型语言模型 视觉问答 合理性捕获 判断偏差 信号检测理论

📋 核心要点

  1. 现有多模态模型在评判过程中容易受到普通解释的误导，导致判断偏差。
  2. 本文提出JUPE基准，通过固定答案并变化解释，系统性地评估解释对判断的影响。
  3. 实验结果显示，普通解释显著降低了对错误答案的拒绝率，验证了合理性捕获现象的存在。

📝 摘要（中文）

多模态大型语言模型（MLLMs）在训练和评估流程中越来越多地充当评判者，通常需要评估答案及其解释。尽管AI评判者对文本因素敏感，但普通的合理解释是否会影响需要视觉验证的判断仍不明确。本文提出JUPE，一个视觉问答（VQA）风格的基准，通过固定答案并变化解释进行测试。研究发现，普通的合理解释会误导评判者，其影响与故意的说服性论证相当。简单的理由和思维链推理分别减少了对错误答案的拒绝率12.7和13.8个百分点。我们称这种现象为“合理性捕获”。

🔬 方法详解

问题定义：本文旨在解决多模态大型语言模型在评判过程中受到普通合理解释误导的问题。现有方法未能有效识别这种偏差，导致判断不准确。

核心思路：论文的核心思路是通过JUPE基准，系统地评估不同类型的解释对判断结果的影响，揭示合理性捕获现象。

技术框架：JUPE基准采用视觉问答（VQA）风格，固定答案并变化解释，涉及14个多模态大型语言模型的评判。主要模块包括答案固定、解释变化和评判结果分析。

关键创新：最重要的技术创新在于识别并量化普通解释对判断的影响，提出“合理性捕获”这一概念，与现有方法相比，提供了新的视角来理解模型的判断机制。

关键设计：在实验中，使用信号检测理论分析评判者的决策标准变化，评估不同解释类型对判断的影响，设计了多种解释生成器和评判协议以确保结果的广泛适用性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，普通解释对错误答案的拒绝率影响显著，分别降低了12.7和13.8个百分点。通过信号检测理论分析，发现评判者的决策标准向接受倾斜，表明合理性捕获现象的普遍性和重要性。

🎯 应用场景

该研究的潜在应用领域包括教育评估、自动化问答系统和人机交互等。通过理解多模态模型的判断偏差，可以优化模型设计，提高其在实际应用中的可靠性和准确性，进而推动智能系统的进一步发展。

📄 摘要（原文）

Multimodal large language models (MLLMs) increasingly serve as judges in training and evaluation pipelines, often assessing answers together with explanations. Although AI judges are sensitive to textual factors, it remains unclear whether ordinary plausible explanations can sway judgments requiring visual verification. We introduce JUPE, a visual-question-answering (VQA)-style benchmark that fixes answers while varying explanations. Across 14 MLLM judges, ordinary explanations that sound plausible mislead judges, with effects comparable on average to deliberately persuasive arguments. Plain justifications and chain-of-thought rationales reduce rejection of incorrect answers by 12.7 and 13.8 percentage points, respectively. We call this failure plausibility capture. Using signal detection theory, we find a significant mean shift in decision criterion toward acceptance, without a clear change in mean discriminability. Explanations sway judgments across domains, explanation generators, and judging protocols, while tested mitigations offer limited, model-dependent protection. Such shifts can inflate performance estimates when judges evaluate answers with explanations.