DOMINO: A Dual-System for Multi-step Visual Language Reasoning
作者: Peifang Wang, Olga Golovneva, Armen Aghajanyan, Xiang Ren, Muhao Chen, Asli Celikyilmaz, Maryam Fazel-Zarandi
分类: cs.CL, cs.CV, cs.LG
发布日期: 2023-10-04
💡 一句话要点
提出双系统以解决多步骤视觉语言推理问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言推理 多步骤推理 双系统架构 信息提取 深度学习
📋 核心要点
- 现有的视觉语言推理方法在处理复杂问题时存在单步推理的局限性，导致准确性不足。
- 本文提出的双系统架构通过将问题分解为原子子步骤，利用系统1提取必要信息，从而实现多步骤推理。
- 实验结果显示，经过微调的系统2模块在多步骤推理任务中准确率提升显著，超越了现有的最佳方法。
📝 摘要（中文）
视觉语言推理需要从信息密集的图像中提取文本或数字，并进行逻辑或算术推理以得出答案。现有方法依赖于端到端的视觉语言模型或两阶段管道，前者在复杂问题上表现不佳，后者易受转换文本中的不准确信息干扰。本文提出了一种双系统的多步骤多模态推理方法，其中“系统1”用于视觉信息提取，“系统2”用于深思熟虑的推理。实验表明，经过预训练的系统2模块在多步骤推理任务中表现优异，准确率超过了最佳的全监督端到端方法和管道方法。
🔬 方法详解
问题定义：本文旨在解决从复杂图像中提取信息并进行多步骤推理的挑战。现有方法要么依赖于单步推理，导致复杂问题处理不佳，要么在信息转换过程中引入噪声，影响推理准确性。
核心思路：提出双系统架构，其中系统1负责视觉信息提取，系统2负责将问题分解为多个子步骤，指导系统1提取所需信息。这种设计允许模型在推理过程中进行更细致的控制，从而提高准确性。
技术框架：整体架构包括两个主要模块：系统1用于从图像中提取信息，系统2用于将问题分解并指导系统1的操作。系统2通过预训练的语言模型（如LLaMA-2 70B）进行微调，以适应多步骤推理任务。
关键创新：最重要的创新在于双系统的设计，使得推理过程可以分步进行，避免了传统方法中的信息干扰和复杂性。与现有方法相比，该方法在处理复杂问题时表现出更高的灵活性和准确性。
关键设计：在系统2中，采用了少量数据进行微调，以提高多步骤推理的准确性。损失函数和网络结构的设计旨在优化信息提取和推理过程的协同工作。
🖼️ 关键图片
📊 实验亮点
实验结果表明，经过微调的系统2模块在多步骤推理任务中准确率提升显著，超越了最佳全监督端到端方法5.7%和FlanPaLM管道方法7.5%。这些结果表明该方法在处理复杂问题时的有效性和优越性。
🎯 应用场景
该研究具有广泛的应用潜力，尤其在数据分析、教育、医疗影像分析等领域。通过提高视觉语言推理的准确性，能够帮助用户更有效地从复杂数据中提取关键信息，支持决策制定和知识获取。未来，该方法还可以扩展到其他多模态学习任务，推动相关领域的发展。
📄 摘要（原文）
Visual language reasoning requires a system to extract text or numbers from information-dense images like charts or plots and perform logical or arithmetic reasoning to arrive at an answer. To tackle this task, existing work relies on either (1) an end-to-end vision-language model trained on a large amount of data, or (2) a two-stage pipeline where a captioning model converts the image into text that is further read by another large language model to deduce the answer. However, the former approach forces the model to answer a complex question with one single step, and the latter approach is prone to inaccurate or distracting information in the converted text that can confuse the language model. In this work, we propose a dual-system for multi-step multimodal reasoning, which consists of a "System-1" step for visual information extraction and a "System-2" step for deliberate reasoning. Given an input, System-2 breaks down the question into atomic sub-steps, each guiding System-1 to extract the information required for reasoning from the image. Experiments on chart and plot datasets show that our method with a pre-trained System-2 module performs competitively compared to prior work on in- and out-of-distribution data. By fine-tuning the System-2 module (LLaMA-2 70B) on only a small amount of data on multi-step reasoning, the accuracy of our method is further improved and surpasses the best fully-supervised end-to-end approach by 5.7% and a pipeline approach with FlanPaLM (540B) by 7.5% on a challenging dataset with human-authored questions.