Large Language Models are Visual Reasoning Coordinators

📄 arXiv: 2310.15166v1 📥 PDF

作者: Liangyu Chen, Bo Li, Sheng Shen, Jingkang Yang, Chunyuan Li, Kurt Keutzer, Trevor Darrell, Ziwei Liu

分类: cs.CV, cs.CL

发布日期: 2023-10-23

备注: Accepted at NeurIPS 2023

💡 一句话要点

提出Cola以协调多模态视觉推理模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉推理 多模态模型 大型语言模型 视觉语言模型 自然语言处理 模型协调 零样本学习

📋 核心要点

  1. 现有方法在如何有效整合多个视觉语言模型的能力上存在不足，尤其是在高阶通信方面的挑战。
  2. 本文提出Cola框架，利用大型语言模型协调多个视觉语言模型，通过自然语言促进它们的协作，发挥各自的优势。
  3. 实验结果显示，Cola-FT在多个视觉推理任务上取得了最先进的性能，而Cola-Zero在零样本和少样本设置中表现出色，未进行微调。

📝 摘要（中文）

视觉推理需要多模态感知和常识认知。尽管已有多种视觉语言模型（VLMs）展现出卓越的常识推理能力，但如何有效利用这些互补的VLMs仍然是一个未被充分探索的问题。现有的集成方法在高阶通信的聚合上存在困难。本文提出了一种新颖的框架Cola，通过大型语言模型（LLM）协调多个VLMs，利用自然语言沟通其独特的能力。实验表明，Cola-FT在视觉问答、外部知识问答、视觉蕴涵和视觉空间推理任务上达到了最先进的性能，而Cola-Zero在零样本和少样本设置中也展现了竞争力。系统的消融研究和可视化验证了协调者LLM对指令提示及VLMs功能的理解，从而实现了卓越的视觉推理能力。

🔬 方法详解

问题定义：本文旨在解决如何有效协调多个视觉语言模型（VLMs）以提升视觉推理能力的问题。现有的集成方法在高阶通信和模型聚合上存在显著不足，难以充分发挥各个模型的优势。

核心思路：论文提出的Cola框架利用大型语言模型（LLM）作为协调者，通过自然语言促进不同VLMs之间的沟通，从而实现更高效的视觉推理。这样的设计使得模型能够利用各自的独特能力，进行更为复杂的推理任务。

技术框架：Cola框架主要包括两个模块：Cola-FT和Cola-Zero。Cola-FT通过指令调优实现最佳性能，而Cola-Zero则在零样本和少样本情况下进行推理，二者均依赖于LLM的协调能力。

关键创新：Cola的核心创新在于使用LLM作为协调者，打破了传统模型集成的局限，能够实现更高效的多模型协作。这一方法在视觉推理任务中展现出显著的性能提升。

关键设计：在技术细节上，Cola框架的设计包括特定的损失函数和参数设置，以确保LLM能够有效理解指令提示和VLMs的功能。此外，模型的训练过程经过精心设计，以优化其在视觉推理任务中的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Cola-FT在视觉问答、外部知识问答、视觉蕴涵和视觉空间推理任务上均达到了最先进的性能，相较于基线方法提升显著。此外，Cola-Zero在零样本和少样本设置中也展现出竞争力，未进行微调的情况下仍能取得良好效果。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、自动化视觉分析和多模态交互等。通过协调不同的视觉语言模型，Cola能够在复杂的视觉推理任务中提供更为准确和高效的解决方案，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Visual reasoning requires multimodal perception and commonsense cognition of the world. Recently, multiple vision-language models (VLMs) have been proposed with excellent commonsense reasoning ability in various domains. However, how to harness the collective power of these complementary VLMs is rarely explored. Existing methods like ensemble still struggle to aggregate these models with the desired higher-order communications. In this work, we propose Cola, a novel paradigm that coordinates multiple VLMs for visual reasoning. Our key insight is that a large language model (LLM) can efficiently coordinate multiple VLMs by facilitating natural language communication that leverages their distinct and complementary capabilities. Extensive experiments demonstrate that our instruction tuning variant, Cola-FT, achieves state-of-the-art performance on visual question answering (VQA), outside knowledge VQA, visual entailment, and visual spatial reasoning tasks. Moreover, we show that our in-context learning variant, Cola-Zero, exhibits competitive performance in zero and few-shot settings, without finetuning. Through systematic ablation studies and visualizations, we validate that a coordinator LLM indeed comprehends the instruction prompts as well as the separate functionalities of VLMs; it then coordinates them to enable impressive visual reasoning capabilities.