CIMR: Contextualized Iterative Multimodal Reasoning for Robust Instruction Following in LVLMs

📄 arXiv: 2507.22074v1 📥 PDF

作者: Yangshu Yuan, Heng Chen, Xinyi Jiang, Christian Ng, Kexin Qiu

分类: cs.LG, cs.CL

发布日期: 2025-07-22

💡 一句话要点

CIMR：上下文迭代多模态推理，提升LVLM在复杂指令跟随任务中的鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 视觉语言模型 指令跟随 迭代推理 上下文感知 自纠正 动作规划

📋 核心要点

  1. 现有LVLM在处理复杂多模态指令时，缺乏有效的逻辑推理、动态反馈整合和迭代自纠正能力。
  2. CIMR框架通过上下文感知的迭代推理和自纠正模块，实现对多模态信息的深度融合和动态调整。
  3. CIMR在MAP数据集上达到91.5%的准确率，显著优于GPT-4V、LLaVA-1.5等先进模型。

📝 摘要（中文）

大型语言模型（LLMs）和大型视觉语言模型（LVLMs）的快速发展显著提升了我们处理和生成人类语言及视觉信息的能力。然而，这些模型在处理需要逻辑推理、动态反馈整合和迭代自纠正的复杂、多步骤多模态指令时常常遇到困难。为了解决这个问题，我们提出了CIMR：上下文迭代多模态推理，这是一个新颖的框架，引入了上下文感知的迭代推理和自纠正模块。CIMR分两个阶段运行：初始推理和响应生成，然后使用解析的多模态反馈进行迭代改进。一个动态融合模块在每个步骤中深度整合文本、视觉和上下文特征。我们在Visual Instruction Tuning (VIT)数据集上对LLaVA-1.5-7B进行了微调，并在新引入的多模态动作规划（MAP）数据集上评估了CIMR。CIMR达到了91.5%的准确率，优于GPT-4V (89.2%)、LLaVA-1.5 (78.5%)、MiniGPT-4 (75.3%)和InstructBLIP (72.8%)等最先进的模型，证明了其迭代推理和自纠正能力在复杂任务中的有效性。

🔬 方法详解

问题定义：论文旨在解决LVLM在复杂多模态指令跟随任务中表现不佳的问题。现有方法难以有效地进行逻辑推理，无法充分整合动态反馈，并且缺乏迭代自纠正的能力，导致在需要多步骤推理和规划的任务中性能受限。

核心思路：论文的核心思路是引入上下文感知的迭代推理和自纠正机制。通过迭代地分析多模态信息，并结合上下文信息进行推理，模型可以逐步修正错误，提高指令跟随的准确性。这种迭代过程模拟了人类在解决复杂问题时的思考方式。

技术框架：CIMR框架包含两个主要阶段：初始推理和响应生成阶段，以及迭代改进阶段。在初始阶段，模型根据输入的多模态信息生成初步的响应。在迭代改进阶段，模型解析多模态反馈，并利用动态融合模块深度整合文本、视觉和上下文特征，进行迭代推理和自纠正。

关键创新：CIMR的关键创新在于其上下文感知的迭代推理和自纠正模块。该模块能够动态地调整推理过程，并根据反馈信息进行修正，从而提高模型的鲁棒性和准确性。动态融合模块也是一个创新点，它能够有效地整合不同模态的信息，并根据上下文进行调整。

关键设计：CIMR使用LLaVA-1.5-7B作为基础模型，并在Visual Instruction Tuning (VIT)数据集上进行微调。在迭代改进阶段，模型使用解析的多模态反馈作为输入，并利用动态融合模块整合文本、视觉和上下文特征。具体的损失函数和网络结构细节在论文中未详细说明，属于未知信息。

📊 实验亮点

CIMR在多模态动作规划（MAP）数据集上取得了显著的性能提升，达到了91.5%的准确率。相比之下，GPT-4V的准确率为89.2%，LLaVA-1.5为78.5%，MiniGPT-4为75.3%，InstructBLIP为72.8%。这些结果表明，CIMR的迭代推理和自纠正能力在复杂任务中具有显著优势，能够有效提高LVLM的性能。

🎯 应用场景

CIMR框架具有广泛的应用前景，例如机器人导航、智能家居控制、自动驾驶等领域。它可以帮助LVLM更好地理解人类指令，并执行复杂的任务。通过迭代推理和自纠正，CIMR可以提高系统的可靠性和安全性，使其能够适应各种复杂的环境和场景。未来，CIMR还可以应用于教育、医疗等领域，为人们提供更加智能化的服务。

📄 摘要（原文）

The rapid advancement of Large Language Models (LLMs) and Large Vision-Language Models (LVLMs) has enhanced our ability to process and generate human language and visual information. However, these models often struggle with complex, multi-step multi-modal instructions that require logical reasoning, dynamic feedback integration, and iterative self-correction. To address this, we propose CIMR: Contextualized Iterative Multimodal Reasoning, a novel framework that introduces a context-aware iterative reasoning and self-correction module. CIMR operates in two stages: initial reasoning and response generation, followed by iterative refinement using parsed multi-modal feedback. A dynamic fusion module deeply integrates textual, visual, and contextual features at each step. We fine-tune LLaVA-1.5-7B on the Visual Instruction Tuning (VIT) dataset and evaluate CIMR on the newly introduced Multi-modal Action Planning (MAP) dataset. CIMR achieves 91.5% accuracy, outperforming state-of-the-art models such as GPT-4V (89.2%), LLaVA-1.5 (78.5%), MiniGPT-4 (75.3%), and InstructBLIP (72.8%), demonstrating the efficacy of its iterative reasoning and self-correction capabilities in complex tasks.