Judge Before Answer: Can MLLM Discern the False Premise in Question?

📄 arXiv: 2510.10965v1 📥 PDF

作者: Jidong Li, Lingyong Fang, Haodong Zhao, Sufeng Duan, Gongshen Liu

分类: cs.CL, cs.AI

发布日期: 2025-10-13

💡 一句话要点

提出JBA数据集与识别增强框架，提升多模态大语言模型对虚假前提的识别能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 虚假前提识别 数据集构建 识别增强框架 鲁棒性 人工智能安全 自然语言处理

📋 核心要点

  1. 现有MLLM易受虚假前提误导，但现有基准测试缺乏细粒度分类和充分覆盖，难以有效评估模型识别能力。
  2. 论文提出全自动流程构建JBA数据集，对前提进行细致分类，并设计识别增强框架提升模型鲁棒性。
  3. 实验结果表明，提出的框架能显著提升模型在虚假前提识别方面的性能，验证了方法的有效性。

📝 摘要（中文）

近年来，多模态大语言模型（MLLMs）取得了惊人的进展。尽管如此，MLLMs仍然容易受到虚假前提问题的影响。然而，现有的针对此问题的基准测试在范围上受到限制：它们通常缺乏细粒度的分类，表现出覆盖不足，因此未能对模型识别虚假前提的能力进行严格评估。为了弥合这一差距，我们引入了一个全自动化的流程，用于构建一个全面的虚假前提问题基准。我们的方法根据识别前提所需的能力，系统地将前提分为三个主要类型和十三个子类型，从而产生了JBA数据集。结果表明，当前的MLLM仍然难以识别虚假前提。在此基准的基础上，我们进一步提出了一个识别增强框架，专门用于增强MLLM检测虚假前提的鲁棒性。大量的实验表明，使用我们的框架训练的模型在虚假前提识别方面取得了显著的改进。

🔬 方法详解

问题定义：论文旨在解决多模态大语言模型（MLLMs）在面对包含虚假前提的问题时，识别能力不足的问题。现有的基准测试数据集存在覆盖范围有限、缺乏细粒度分类等痛点，无法全面评估和提升MLLMs对虚假前提的识别能力。这导致MLLMs在实际应用中容易受到误导，产生错误的结论。

核心思路：论文的核心思路是构建一个更全面、更细粒度的虚假前提数据集（JBA），并在此基础上设计一个识别增强框架，以提升MLLMs对虚假前提的鲁棒性。通过对虚假前提进行系统分类，并利用增强框架进行训练，使MLLMs能够更好地理解和识别虚假信息，从而提高其推理能力。

技术框架：整体框架包含两个主要部分：1) JBA数据集构建流程：该流程采用全自动化的方式生成虚假前提问题，并根据识别前提所需的能力将其分为三个主要类型和十三个子类型。2) 识别增强框架：该框架利用JBA数据集对MLLMs进行训练，通过特定的训练策略和损失函数，增强模型对虚假前提的识别能力。

关键创新：论文的关键创新在于：1) 提出了一个全自动化的虚假前提问题生成流程，能够高效地构建大规模、多样化的JBA数据集。2) 对虚假前提进行了细粒度的分类，为更深入地分析和解决虚假前提问题提供了基础。3) 设计了一个专门针对虚假前提识别的增强框架，能够有效提升MLLMs的鲁棒性。

关键设计：JBA数据集的构建过程中，设计了针对不同类型虚假前提的生成规则和模板。识别增强框架的具体技术细节（例如损失函数、网络结构等）在论文中未详细说明，属于未知信息。推测可能使用了对比学习或对抗训练等方法来增强模型对虚假前提的区分能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文构建了包含多种类型虚假前提的JBA数据集，并提出了识别增强框架。实验结果表明，使用该框架训练的MLLMs在虚假前提识别方面取得了显著的提升，具体性能数据和对比基线信息未知，但整体效果验证了该框架的有效性。

🎯 应用场景

该研究成果可应用于提升多模态大语言模型在信息检索、问答系统、智能对话等领域的可靠性和准确性。通过增强模型对虚假前提的识别能力，可以减少错误信息的传播，提高模型的决策质量，并为构建更值得信赖的人工智能系统奠定基础。未来，该研究还可扩展到其他类型的虚假信息检测，例如谣言识别、伪造图像检测等。

📄 摘要（原文）

Multimodal large language models (MLLMs) have witnessed astonishing advancements in recent years. Despite these successes, MLLMs remain vulnerable to flase premise problems. However, existing benchmarks targeting this issue are limited in scope: they often lack fine-grained categorization, exhibit insufficient coverage, and thus fail to provide a rigorous evaluation of the ability of models to recognize false premises. To bridge this gap, we introduce a fully automated pipeline for constructing a comprehensive benchmark of false premise questions. Our method systematically categorizes the premises into three main types and thirteen subtypes according to the abilities required to identify the premises, resulting in the JBA dataset.Results show current MLLMs still struggle with false premise recognition. Building upon this benchmark, we further propose a recognition enhancement framework tailored to strengthen the robustness of MLLMs to detect false premises. Extensive experiments demonstrate that models trained with our framework achieve significant improvements in false premise recognition.