From Easy to Hard: The MIR Benchmark for Progressive Interleaved Multi-Image Reasoning

📄 arXiv: 2509.17040v2 📥 PDF

作者: Hang Du, Jiayang Zhang, Guoshun Nan, Wendi Deng, Zhenyan Chen, Chenyang Zhang, Wang Xiao, Shan Huang, Yuqi Pan, Tao Qi, Sicong Leng

分类: cs.CV, cs.AI

发布日期: 2025-09-21 (更新: 2025-10-16)

备注: Accepted by ICCV 2025

💡 一句话要点

提出MIR基准测试，用于评估多图交错推理中多模态大语言模型的能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多图推理 交错文本 多模态大语言模型 基准测试 课程学习

📋 核心要点

  1. 现有方法在多图推理中忽略了交错文本上下文，未能充分利用图像与文本之间的关系。
  2. 论文提出MIR基准，并设计阶段式课程学习策略，从易到难提升模型的多图交错推理能力。
  3. 实验结果表明，该方法显著提升了模型在MIR及其他基准上的推理性能。

📝 摘要（中文）

多图交错推理旨在提升多模态大语言模型(MLLM)在多个图像及其相关文本上下文之间进行联合理解和推理的能力，这带来了超越单图或非交错多图任务的独特挑战。现有的多图基准测试忽略了交错的文本上下文，并忽视了单个图像及其相关文本之间的明显关系。为了弥补这一差距，我们引入了一个新的基准MIR，它需要对多个图像以及交错的文本上下文进行联合推理，以准确地将图像区域与相应的文本相关联，并在图像之间进行逻辑连接。为了增强MLLM理解多图交错数据的能力，我们为基准测试中的每个实例引入了推理步骤，并提出了一种阶段式课程学习策略。该策略遵循“由易到难”的方法，逐步引导模型从简单到复杂的场景，从而提高模型处理具有挑战性任务的能力。大量的实验表明，我们的方法显著提高了模型在MIR和其他已建立的基准测试上的推理性能。我们相信MIR将鼓励对多图交错推理的进一步研究，从而促进MLLM处理复杂跨模态任务的能力。

🔬 方法详解

问题定义：现有的多图推理基准测试通常忽略了图像之间交错的文本信息，并且没有充分考虑单个图像与其对应文本之间的关系。这导致模型难以理解复杂场景，无法有效捕捉跨模态关联。因此，需要一个能够评估模型在多图交错文本场景下推理能力的基准测试。

核心思路：论文的核心思路是构建一个包含多图和交错文本的基准测试（MIR），并设计一种阶段式课程学习策略，引导模型逐步学习从简单到复杂的推理任务。通过这种方式，模型可以更好地理解图像和文本之间的关系，并进行有效的跨模态推理。

技术框架：MIR基准测试包含多个实例，每个实例由多个图像和交错的文本组成。每个实例都设计了推理步骤，用于指导模型进行推理。阶段式课程学习策略将训练过程分为多个阶段，每个阶段都包含不同难度的任务。模型首先在简单的任务上进行训练，然后逐步过渡到更复杂的任务。

关键创新：该论文的关键创新在于提出了MIR基准测试，该基准测试专门用于评估模型在多图交错文本场景下的推理能力。此外，论文还提出了一种阶段式课程学习策略，该策略可以有效地提高模型的推理性能。

关键设计：MIR基准测试中的实例设计需要保证图像和文本之间的关联性，以及图像之间的逻辑关系。阶段式课程学习策略需要合理安排每个阶段的任务难度，以及任务之间的过渡方式。具体的参数设置和网络结构的选择取决于具体的模型和任务。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的方法在MIR基准测试上取得了显著的性能提升。与其他基线模型相比，该方法能够更准确地将图像区域与相应的文本相关联，并在图像之间进行逻辑连接。此外，该方法还在其他已建立的基准测试上取得了良好的性能表现，证明了其泛化能力。

🎯 应用场景

该研究成果可应用于智能问答、视觉对话、图像检索等领域。通过提升模型在多图交错文本场景下的推理能力，可以实现更精准、更智能的跨模态交互，例如在医疗影像分析、自动驾驶等领域具有潜在应用价值，并能促进多模态大语言模型的发展。

📄 摘要（原文）

Multi-image Interleaved Reasoning aims to improve Multi-modal Large Language Models (MLLMs) ability to jointly comprehend and reason across multiple images and their associated textual contexts, introducing unique challenges beyond single-image or non-interleaved multi-image tasks. While current multi-image benchmarks overlook interleaved textual contexts and neglect distinct relationships between individual images and their associated texts, enabling models to reason over multi-image interleaved data may significantly enhance their comprehension of complex scenes and better capture cross-modal correlations. To bridge this gap, we introduce a novel benchmark MIR, requiring joint reasoning over multiple images accompanied by interleaved textual contexts to accurately associate image regions with corresponding texts and logically connect information across images. To enhance MLLMs ability to comprehend multi-image interleaved data, we introduce reasoning steps for each instance within the benchmark and propose a stage-wise curriculum learning strategy. This strategy follows an "easy to hard" approach, progressively guiding models from simple to complex scenarios, thereby enhancing their ability to handle challenging tasks. Extensive experiments benchmarking multiple MLLMs demonstrate that our method significantly enhances models reasoning performance on MIR and other established benchmarks. We believe that MIR will encourage further research into multi-image interleaved reasoning, facilitating advancements in MLLMs capability to handle complex inter-modal tasks.