Black-box Model Ensembling for Textual and Visual Question Answering via Information Fusion

📄 arXiv: 2407.12841v2 📥 PDF

作者: Yuxi Xia, Kilm Zaporojets, Benjamin Roth

分类: cs.CL, cs.AI

发布日期: 2024-07-04 (更新: 2024-12-17)

备注: 15 pages, 6 figures, 9 tables

💡 一句话要点

提出InfoSel，通过信息融合实现黑盒模型集成，提升文本和视觉问答性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 黑盒模型集成 信息融合 文本问答 视觉问答 数据高效 模型选择 多模态学习

📋 核心要点

  1. 大型语言模型和视觉问答模型微调困难或成本高昂，因为它们要么通过API访问，要么需要调整大量参数。
  2. InfoSel通过学习动态选择黑盒模型的预测结果，实现高效集成，无需访问模型内部信息或进行昂贵的微调。
  3. 实验表明，InfoSel在文本和视觉问答任务上，仅使用少量训练数据即可显著提升性能，优于单独使用大型语言模型。

📝 摘要（中文）

本文提出了一种名为InfoSel的数据高效集成方法，用于动态选择现有黑盒模型（如ChatGPT和BLIP）的预测结果，以解决文本和多模态视觉问答任务。与传统的集成模型不同，InfoSel不依赖于预测概率或置信度，因为这些信息在黑盒模型中通常不可用。在四个数据集上的实验结果表明，与独立的LLM相比，我们的方法仅使用1K个训练实例，F1分数绝对提升高达+5.19%。

🔬 方法详解

问题定义：论文旨在解决文本和视觉问答任务中，难以有效利用现有大型语言模型（LLMs）和视觉问答模型（VQA）的问题。这些模型通常以黑盒形式存在，无法进行微调，或者微调成本过高。现有集成方法依赖于模型输出的概率或置信度，而这些信息在黑盒模型中通常不可用，限制了集成方法的应用。

核心思路：论文的核心思路是设计一种数据高效的集成方法，能够动态地从多个黑盒模型中选择最佳预测结果。该方法不依赖于模型的概率或置信度输出，而是通过学习输入数据的特征与模型预测结果之间的关系，来判断哪个模型更适合处理当前输入。这样可以在不访问模型内部信息的情况下，实现模型的有效集成。

技术框架：InfoSel的整体框架包含以下几个主要步骤：1) 收集多个黑盒模型的预测结果；2) 提取输入数据的特征；3) 使用少量训练数据，学习一个选择器模型，该模型根据输入特征选择最佳的预测结果；4) 使用选择器模型对新的输入数据进行预测。选择器模型可以使用任何机器学习算法，例如逻辑回归、支持向量机或神经网络。

关键创新：InfoSel的关键创新在于其不依赖于模型输出的概率或置信度，而是通过学习输入数据的特征与模型预测结果之间的关系来进行模型选择。这使得InfoSel能够有效地集成黑盒模型，而无需访问模型的内部信息。此外，InfoSel是一种数据高效的方法，仅需要少量训练数据即可实现显著的性能提升。

关键设计：InfoSel的关键设计包括：1) 特征提取：选择合适的特征来描述输入数据，例如文本的词向量、视觉图像的视觉特征等；2) 选择器模型：选择合适的机器学习算法来学习输入特征与模型预测结果之间的关系；3) 训练数据：使用少量训练数据来训练选择器模型，并进行交叉验证以防止过拟合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，InfoSel在四个数据集上均取得了显著的性能提升。与单独使用LLM相比，InfoSel仅使用1K个训练实例，F1分数绝对提升高达+5.19%。这表明InfoSel是一种数据高效且有效的集成方法，能够充分利用现有黑盒模型的优势，提升文本和视觉问答的性能。

🎯 应用场景

该研究成果可应用于各种需要利用现有大型语言模型和视觉问答模型的场景，例如智能客服、教育辅助、内容审核等。通过InfoSel，可以在不进行模型微调的情况下，提升现有模型的性能，降低开发成本，并更好地利用现有的AI资源。未来，该方法可以扩展到更多类型的任务和模型，实现更广泛的应用。

📄 摘要（原文）

A diverse range of large language models (LLMs), e.g., ChatGPT, and visual question answering (VQA) models, e.g., BLIP, have been developed for solving textual and visual question answering tasks. However, fine-tuning these models is either difficult, as it requires access via APIs, rendering them as black-boxes, or costly due to the need of tuning a large number of parameters. To address this, we introduce InfoSel, a data-efficient ensemble method that learns to dynamically pick the winner from existing black-box models for predictions on both textual and multimodal visual question answering tasks. Unlike traditional ensemble models, InfoSel does not rely on prediction probabilities or confidences, which typically are not available in black-box models. Experimental results on four datasets demonstrate that our approach achieves an absolute increase of up to +5.19\% in the F1-score compared to standalone LLMs using only 1K training instances.