ReFocus: Visual Editing as a Chain of Thought for Structured Image Understanding

📄 arXiv: 2501.05452v1 📥 PDF

作者: Xingyu Fu, Minqian Liu, Zhengyuan Yang, John Corring, Yijuan Lu, Jianwei Yang, Dan Roth, Dinei Florencio, Cha Zhang

分类: cs.CV, cs.CL

发布日期: 2025-01-09

备注: Project link: https://zeyofu.github.io/ReFocus/

💡 一句话要点

ReFocus：通过视觉编辑的思维链实现结构化图像理解

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 视觉编辑 结构化图像理解 思维链 大型语言模型

📋 核心要点

  1. 现有方法在处理结构化图像理解任务时，缺乏在图像内部进行多跳选择性关注的能力，限制了推理性能。
  2. ReFocus框架通过允许多模态LLM生成代码来编辑图像，实现视觉焦点的转移和优化，从而模拟人类的视觉推理过程。
  3. 实验表明，ReFocus在表格和图表理解任务上显著优于GPT-4o，并且通过ReFocus生成的数据集能够更好地训练模型。

📝 摘要（中文）

结构化图像理解，例如解读表格和图表，需要在图像中的各种结构和文本之间进行策略性地重新聚焦，形成一个推理序列以得出最终答案。然而，当前的多模态大型语言模型（LLM）缺乏这种多跳选择性注意能力。本文介绍了一种简单而有效的框架ReFocus，它使多模态LLM能够通过代码对输入图像执行视觉编辑，从而生成“视觉思维”，转移和改进其视觉焦点。具体来说，ReFocus使多模态LLM能够生成Python代码来调用工具并修改输入图像，依次绘制框、突出显示部分和屏蔽区域，从而增强视觉推理过程。在涉及表格和图表的各种结构化图像理解任务上进行了实验。ReFocus在所有任务上都大大提高了优于没有视觉编辑的GPT-4o的性能，在表格任务上平均提高了11.0％，在图表任务上平均提高了6.8％。对不同视觉编辑的效果进行了深入分析，并解释了为什么ReFocus可以在不引入额外信息的情况下提高性能。此外，使用ReFocus收集了一个14k训练集，并证明了带有中间信息的这种视觉思维链提供了比标准VQA数据更好的监督，与使用QA对训练的相同模型相比，平均提高了8.0％，与CoT相比提高了2.6％。

🔬 方法详解

问题定义：论文旨在解决多模态大型语言模型（LLM）在结构化图像理解任务中，缺乏多跳选择性注意能力的问题。现有方法难以在图像中的不同结构和文本之间进行有效推理，导致性能瓶颈。例如，在处理表格或图表时，模型可能无法准确地定位关键信息，从而影响最终的理解和回答。

核心思路：论文的核心思路是赋予多模态LLM通过视觉编辑来调整其视觉焦点的能力。通过让模型生成代码来修改输入图像，例如绘制框、突出显示区域或屏蔽部分内容，模型可以有选择性地关注图像中的特定区域，从而模拟人类的视觉推理过程。这种方法允许模型逐步提炼视觉信息，最终得出正确的答案。

技术框架：ReFocus框架的核心在于让多模态LLM生成Python代码，这些代码调用预定义的工具来对输入图像进行视觉编辑。整体流程如下：1. LLM接收包含图像的输入提示。2. LLM生成Python代码，用于执行视觉编辑操作。3. 执行生成的代码，修改输入图像。4. 将修改后的图像再次输入LLM，进行下一轮推理或生成最终答案。这个过程可以迭代多次，形成一个视觉思维链。

关键创新：ReFocus的关键创新在于将视觉编辑融入到多模态LLM的推理过程中。与传统的直接从原始图像进行推理的方法不同，ReFocus允许模型通过一系列视觉操作来逐步提炼和聚焦关键信息。这种方法模拟了人类在处理复杂视觉信息时的思维过程，从而提高了模型的理解能力。

关键设计：ReFocus框架的关键设计包括：1. 定义了一组用于视觉编辑的工具，例如绘制框、突出显示和屏蔽。2. 使用Python代码作为LLM与视觉编辑工具之间的接口。3. 通过实验确定了最佳的视觉编辑策略和迭代次数。4. 收集了一个包含视觉编辑操作的训练数据集，用于进一步提升模型的性能。具体的参数设置和网络结构细节在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ReFocus框架在表格理解任务上平均提高了11.0%，在图表理解任务上平均提高了6.8%，显著优于没有视觉编辑的GPT-4o。此外，使用ReFocus生成的数据集训练的模型，与使用QA对训练的模型相比，平均提高了8.0%，与CoT相比提高了2.6%，证明了视觉思维链的有效性。

🎯 应用场景

ReFocus框架在结构化文档理解、数据可视化分析、智能信息抽取等领域具有广泛的应用前景。它可以帮助人们更有效地理解和利用图像中的信息，例如自动分析财务报表、解读科学图表、提取网页表格数据等。未来，ReFocus有望应用于更复杂的视觉推理任务，例如医学图像诊断、自动驾驶等。

📄 摘要（原文）

Structured image understanding, such as interpreting tables and charts, requires strategically refocusing across various structures and texts within an image, forming a reasoning sequence to arrive at the final answer. However, current multimodal large language models (LLMs) lack this multihop selective attention capability. In this work, we introduce ReFocus, a simple yet effective framework that equips multimodal LLMs with the ability to generate "visual thoughts" by performing visual editing on the input image through code, shifting and refining their visual focuses. Specifically, ReFocus enables multimodal LLMs to generate Python codes to call tools and modify the input image, sequentially drawing boxes, highlighting sections, and masking out areas, thereby enhancing the visual reasoning process. We experiment upon a wide range of structured image understanding tasks involving tables and charts. ReFocus largely improves performance on all tasks over GPT-4o without visual editing, yielding an average gain of 11.0% on table tasks and 6.8% on chart tasks. We present an in-depth analysis of the effects of different visual edits, and reasons why ReFocus can improve the performance without introducing additional information. Further, we collect a 14k training set using ReFocus, and prove that such visual chain-of-thought with intermediate information offers a better supervision than standard VQA data, reaching a 8.0% average gain over the same model trained with QA pairs and 2.6% over CoT.