DMC-CF: Dynamic Multimodal CounterFactual QA benchmark for Causal Reasoning

📄 arXiv: 2605.29339v1 📥 PDF

作者: Junzhe Zhang, Huixuan Zhang, Guirong Wang, Xingyao Zhang, Pei Liu, Lin Qu, Hu Wei, Xiaojun Wan

分类: cs.CV

发布日期: 2026-05-28

💡 一句话要点

提出DMC-CF：用于因果推理的动态多模态反事实问答基准

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 因果推理 反事实问答 基准数据集 动态图干预 大语言模型 视频理解

📋 核心要点

  1. 现有因果推理数据集规模小，且多为合成或卡通数据，缺乏真实性，难以有效评估模型在真实场景下的因果推理能力。
  2. 论文提出DMC-CF基准，包含静态和动态评估两部分，利用真实世界视频构建，并采用动态图干预框架缓解数据污染问题。
  3. 实验结果表明，现有MLLM在DMC-CF基准上表现不佳，表明其在真实场景下的多模态因果推理能力仍有较大提升空间。

📝 摘要（中文）

随着多模态大语言模型(MLLM)的快速发展，模型展示出越来越强大的多模态能力。然而，通过统计学习训练的MLLM是否真正理解现实世界中潜在的因果关系仍然是一个关键的研究问题。近年来，已经提出了许多多模态因果推理数据集。然而，这些数据集要么规模有限，要么由合成图像和视频、基于卡通的内容或其他非真实的多模态来源构建。为了解决这些限制，我们收集了真实世界的视频，并构建了DMC-CF-Static，这是一个用于多模态因果反事实推理的大规模基准。此外，为了缓解传统静态评估中的数据污染等问题，我们使用因果图表示因果事件，并提出了动态图干预(DGI)框架，从DMC-CF-Static构建动态评估基准DMC-CF-Dynamic。在包含静态和动态评估基准的整体DMC-CF上的实验结果表明，当前多模态大语言模型在真实场景中的多模态因果推理能力仍有待大幅提高。

🔬 方法详解

问题定义：现有用于多模态因果推理的数据集存在规模小、数据不真实（例如，合成图像、卡通视频）的问题，难以准确评估模型在真实世界场景下的因果推理能力。此外，静态数据集容易受到数据污染的影响，导致评估结果不准确。因此，论文旨在构建一个更大规模、更真实、更可靠的多模态因果推理基准。

核心思路：论文的核心思路是利用真实世界的视频数据，构建一个包含静态和动态评估两部分的基准数据集。静态部分（DMC-CF-Static）提供大规模的真实场景数据，动态部分（DMC-CF-Dynamic）通过动态图干预（DGI）框架，缓解数据污染问题，并提供更可靠的评估。

技术框架：DMC-CF基准的构建包含以下几个主要步骤： 1. 数据收集：收集真实世界的视频数据。 2. DMC-CF-Static构建：基于收集的视频数据，构建静态基准数据集，包含问题、答案和相应的视频片段。 3. 因果图构建：使用因果图表示视频中的因果事件。 4. DGI框架：提出动态图干预（DGI）框架，用于构建动态评估基准DMC-CF-Dynamic。DGI框架通过对因果图进行干预，生成新的问题和答案，从而避免数据污染。 5. DMC-CF-Dynamic构建：基于DGI框架，构建动态基准数据集。

关键创新：论文的关键创新在于： 1. 真实世界数据：使用真实世界的视频数据，提高了基准的真实性和可靠性。 2. 动态图干预（DGI）框架：提出DGI框架，通过对因果图进行干预，缓解了数据污染问题，并提供了更可靠的评估。 3. 大规模基准：构建了一个大规模的多模态因果推理基准，为研究人员提供了更充足的数据。

关键设计：DGI框架的关键设计包括： 1. 因果图表示：使用因果图表示视频中的因果事件，节点表示事件中的对象或属性，边表示因果关系。 2. 干预策略：设计不同的干预策略，例如改变某个节点的属性或删除某个节点，从而生成新的问题和答案。 3. 问题生成：基于干预后的因果图，生成反事实问题，例如“如果X没有发生，Y会发生吗？”。 4. 答案生成：基于干预后的因果图，生成相应的答案。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有的多模态大语言模型在DMC-CF基准上表现不佳，表明其在真实场景下的多模态因果推理能力仍有较大提升空间。具体而言，模型在动态评估基准上的表现明显低于静态评估基准，表明数据污染对模型性能的影响较大。这些结果强调了构建更真实、更可靠的因果推理基准的重要性。

🎯 应用场景

该研究成果可应用于提升多模态大语言模型在现实场景中的因果推理能力，例如在自动驾驶领域，模型需要理解车辆行为与周围环境之间的因果关系，从而做出正确的决策。此外，该基准也可用于评估和改进其他多模态智能系统的因果推理能力，例如智能客服、智能医疗等。

📄 摘要（原文）

With the rapid advancement of multimodal large language models (MLLMs), models have demonstrated increasingly powerful multimodal capabilities. However, whether MLLMs trained through statistical learning can truly understand the causal relationships underlying the real world remains a key research question. In recent years, numerous multimodal causal reasoning datasets have been proposed. Nevertheless, these datasets are either limited in scale or constructed from synthetic images and videos, cartoon-based content, or other non-realistic multimodal sources. To address these limitations, we collect real-world videos and construct DMC-CF-Static, a large-scale benchmark for multimodal causal counterfactual reasoning. Furthermore, to mitigate issues such as data contamination in traditional static evaluation, we represent causal events using causal graphs and propose the Dynamic Graph Intervention (DGI) framework to build the dynamic evaluation benchmark DMC-CF-Dynamic from DMC-CF-Static. Experimental results on the overall DMC-CF, which includes both static and dynamic evaluation benchmarks, demonstrate that the multimodal causal reasoning capabilities of current multimodal large language models in real-world scenarios still require substantial improvement.