Interleaved-Modal Chain-of-Thought

📄 arXiv: 2411.19488v2 📥 PDF

作者: Jun Gao, Yongqi Li, Ziqiang Cao, Wenjie Li

分类: cs.CV, cs.AI, cs.LG

发布日期: 2024-11-29 (更新: 2025-03-17)

备注: CVPR 2025 Main Conference

💡 一句话要点

提出交错模态思维链(ICoT)，提升视觉语言模型在复杂推理任务中的性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 思维链 多模态推理 注意力机制 图像理解

📋 核心要点

  1. 现有视觉语言模型在复杂推理中，仅使用文本推理链，难以表达图像中的细粒度关联。
  2. 提出交错模态思维链(ICoT)，通过视觉和文本交替的推理步骤，提升模型推理能力。
  3. 引入注意力驱动选择(ADS)机制，无需额外参数，即可在现有VLM上实现ICoT，并显著提升性能。

📝 摘要（中文）

本文提出了一种图像融合的多模态思维链方法，称为交错模态思维链(ICoT)，该方法生成由配对的视觉和文本推理步骤组成的序列，以推断最终答案。ICoT要求视觉语言模型(VLM)能够生成细粒度的交错模态内容，这对于当前的VLM来说很难实现。考虑到所需的视觉信息通常是输入图像的一部分，我们提出了注意力驱动选择(ADS)来实现现有VLM上的ICoT。ADS智能地插入输入图像的区域以生成具有可忽略的额外延迟的交错模态推理步骤。ADS仅依赖于VLM的注意力图，无需参数化，因此它是一种即插即用策略，可以推广到各种VLM。我们将ADS应用于两种不同架构的流行VLM来实现ICoT。对三个基准的广泛评估表明，与现有的多模态CoT提示方法相比，ICoT提示实现了显著的性能（高达14%）和可解释性改进。

🔬 方法详解

问题定义：现有视觉语言模型(VLM)在进行复杂推理时，通常采用纯文本的思维链(CoT)提示方法。这种方法忽略了图像本身所包含的丰富信息，尤其是在需要细粒度视觉理解的任务中，文本推理链难以充分表达图像中的关键细节和关联，导致推理性能受限。

核心思路：本文的核心思路是让VLM在推理过程中同时利用视觉和文本信息，生成交错的模态推理链。具体来说，在每个推理步骤中，模型不仅生成文本描述，还选择性地插入输入图像的特定区域，从而形成视觉-文本交错的推理过程。这种方式能够更有效地利用图像信息，提升推理的准确性和可解释性。

技术框架：ICoT的整体框架包括以下几个关键步骤：1) 输入图像和问题；2) VLM生成初始文本推理步骤；3) 注意力驱动选择(ADS)模块根据VLM的注意力图，从输入图像中选择相关区域；4) 将选择的图像区域插入到文本推理步骤中，形成交错模态推理链；5) VLM基于交错模态推理链生成最终答案。整个过程迭代进行，直到得到最终答案。

关键创新：本文最重要的技术创新在于提出了注意力驱动选择(ADS)模块。ADS利用VLM自身的注意力图来指导图像区域的选择，无需额外的参数训练。这种方法充分利用了VLM已有的视觉理解能力，并且具有即插即用的特性，可以方便地应用于不同的VLM架构。与传统的CoT方法相比，ICoT能够更有效地利用图像信息，提升推理性能。

关键设计：ADS模块的关键设计在于如何利用注意力图来选择图像区域。具体来说，ADS首先计算VLM在生成文本推理步骤时的注意力图，然后根据注意力权重选择图像中最重要的区域。为了保证选择的区域具有一定的语义完整性，ADS采用了一种基于区域的注意力加权方法，即首先将图像分割成若干个区域，然后计算每个区域的平均注意力权重，最后选择权重最高的区域。此外，为了避免选择的区域过于分散，ADS还引入了一个空间约束，即选择的区域必须是连通的。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ICoT在三个基准数据集上均取得了显著的性能提升，最高提升幅度达到14%。与现有的多模态CoT方法相比，ICoT能够更有效地利用图像信息，提高推理的准确性和可解释性。此外，ADS模块的即插即用特性使得ICoT可以方便地应用于不同的VLM架构。

🎯 应用场景

ICoT方法可广泛应用于需要复杂视觉推理的场景，例如视觉问答、图像描述生成、目标检测和识别等。该方法能够提升VLM在这些任务中的性能，并提高模型的可解释性，有助于开发更智能、更可靠的视觉语言系统。未来，ICoT有望在自动驾驶、智能医疗、机器人等领域发挥重要作用。

📄 摘要（原文）

Chain-of-Thought (CoT) prompting elicits large language models (LLMs) to produce a series of intermediate reasoning steps before arriving at the final answer. However, when transitioning to vision-language models (VLMs), their text-only rationales struggle to express the fine-grained associations with the original image. In this paper, we propose an image-incorporated multimodal Chain-of-Thought, named \textbf{Interleaved-modal Chain-of-Thought (ICoT)}, which generates sequential reasoning steps consisting of paired visual and textual rationales to infer the final answer. Intuitively, the novel ICoT requires VLMs to enable the generation of fine-grained interleaved-modal content, which is hard for current VLMs to fulfill. Considering that the required visual information is usually part of the input image, we propose \textbf{Attention-driven Selection (ADS)} to realize ICoT over existing VLMs. ADS intelligently inserts regions of the input image to generate the interleaved-modal reasoning steps with ignorable additional latency. ADS relies solely on the attention map of VLMs without the need for parameterization, and therefore it is a plug-and-play strategy that can be generalized to a spectrum of VLMs. We apply ADS to realize ICoT on two popular VLMs of different architectures. Extensive evaluations of three benchmarks have shown that ICoT prompting achieves substantial performance (up to 14\%) and interpretability improvements compared to existing multimodal CoT prompting methods.