Benchmarking MLLMs via Cognitive Expected Scene Graph for Safety-Critical Visual Negation Understanding
作者: Zhiyun Jiang, Hanyong Wang, Binbin Liang, Yu Xie, Menglong Yang, Wei Li
分类: cs.CV
发布日期: 2026-09-17
💡 一句话要点
提出安全认知场景否定理解框架以解决多模态大语言模型的偏差问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉否定理解 多模态大语言模型 安全认知 场景图 评估指标 风险意识 反事实认知
📋 核心要点
- 现有的多模态大语言模型在处理视觉否定时存在显著的肯定偏见，导致其在负语义下的表现不佳。
- 本文提出了安全认知下的场景否定理解（SNUS）任务，并构建了相应的数据集和评估指标，以解决现有方法的局限性。
- 实验结果显示，传统评估指标在语义反转时失效，而我们的框架在SNUS任务上提供了显著的性能提升，成为新的基准。
📝 摘要（中文）
真正的机器智能需要超越被动的像素注册，掌握对缺失信息的自上而下的功能推理，尤其是在视觉否定理解方面。然而，现有的视觉否定范式过于开放，普遍存在的肯定偏见导致现有的多模态大语言模型（MLLMs）和评估指标在负语义下失效。为系统性地解决这些相互交织的挑战，本文首先在特定的认知目标内锚定否定推理的边界，专注于安全作为一个高度务实和关键的认知维度，定义了安全认知下的场景否定理解（SNUS）任务。在此框架下，我们构建了一个高保真度的负面描述数据集，映射局部危险的密集断言。同时，提出了认知期望场景图（CESG）评分，这是一种结构化、极性感知的评估指标。大量实验表明，当前模型在该任务上表现不佳，而传统指标在语义反转下完全崩溃。相反，我们的框架为SNUS提供了一个坚实的基准，为推进风险意识的情境理解和反事实认知奠定了严格的基础。
🔬 方法详解
问题定义：本文旨在解决多模态大语言模型在视觉否定理解中的偏差问题，现有方法在处理负语义时表现不佳，无法有效进行推理。
核心思路：通过定义安全认知下的场景否定理解（SNUS）任务，聚焦于特定的认知目标，构建高保真度的负面描述数据集，并提出认知期望场景图（CESG）评分作为评估指标。
技术框架：整体框架包括数据集构建、任务定义和评估指标设计三个主要模块。数据集映射局部危险，任务定义明确了认知目标，评估指标则关注结构和极性。
关键创新：最重要的创新在于提出了CESG评分，这种评估方法能够有效应对语义反转问题，与传统评估指标相比，具有更强的适应性和准确性。
关键设计：在数据集构建中，采用了高保真度的负面描述，确保数据的多样性和代表性；CESG评分则结合了结构信息和极性感知，提升了评估的全面性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，现有模型在SNUS任务上的表现明显不足，而传统评估指标在面对语义反转时完全失效。相比之下，提出的CESG评分在多个实验中展现出优越的性能，成为新的评估基准，显著提升了对视觉否定的理解能力。
🎯 应用场景
该研究的潜在应用领域包括安全监控、自动驾驶、机器人视觉等，能够帮助系统更好地理解和处理复杂的视觉信息，尤其是在存在潜在危险的场景中。未来，该框架有望推动更安全的智能系统发展，提升人机交互的安全性和可靠性。
📄 摘要（原文）
True machine intelligence requires transcending passive pixel registration to master top-down functional reasoning over absent information via visual negation understanding. However, unconstrained visual negation paradigms remain overly open-ended, and pervasive affirmation bias causes both existing Multi-Modal Large Language Models (MLLMs) and evaluation metrics to fail under negative semantics. To solve these intertwined challenges systematically, we first anchor the boundaries of negation reasoning within specific cognitive goals. Specifically, by focusing on safety as a highly pragmatic and critical cognitive dimension, we define the task of \textbf{S}cene \textbf{N}egation \textbf{U}nderstanding under \textbf{S}afety Cognition (\textbf{SNUS}). Under this framework, we construct a high-fidelity negative caption dataset mapping dense assertions of localized hazards. Concurrently, we propose the Cognitive Expected Scene Graph (CESG) Score, a structure-grounded, polarity-aware evaluation metric. Extensive experiments demonstrate that while current models struggle on the task, traditional metrics completely collapse under semantic reversals. Conversely, our framework delivers a solid benchmark for SNUS, providing a rigorous foundation to advance risk-aware situational comprehension and counterfactual cognition.