IWISDM: Assessing instruction following in multimodal models at scale

📄 arXiv: 2406.14343v5 📥 PDF

作者: Xiaoxuan Lei, Lucas Gomez, Hao Yuan Bai, Pouya Bashivan

分类: cs.AI

发布日期: 2024-06-20 (更新: 2024-07-22)

🔗 代码/项目: GITHUB

💡 一句话要点

提出iWISDM：大规模评估多模态模型指令遵循能力的基准

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 指令遵循 视觉语言 基准测试 虚拟环境

📋 核心要点

  1. 现有基准测试主要集中于单模态输入，缺乏对多模态模型在复杂指令下的理解和执行能力的全面评估。
  2. 论文提出了iWISDM环境，能够生成无限的、复杂度可变的视觉-语言任务，用于评估多模态模型的指令遵循能力。
  3. 通过iWISDM基准测试，发现现有模型在精确遵循指令方面与人类存在显著差距，为未来研究指明方向。

📝 摘要（中文）

执行复杂任务的能力是人类取得卓越成就的关键。大型语言模型及其集成了文本和视觉输入的多模态模型在执行复杂任务方面取得了前所未有的成功。然而，现有的大多数基准主要局限于单模态输入（文本或视觉），缩小了多模态评估的范围，尤其是在多模态环境中的指令遵循方面。为了弥补这一差距，我们引入了instructed-Virtual VISual Decision Making (iWISDM)环境，该环境旨在生成无限的、复杂度各异的视觉-语言任务。利用iWISDM，我们编制了三个不同复杂程度的指令遵循视觉任务基准，并评估了几个新开发的多模态模型。我们的研究结果表明，iWISDM是一个强大的基准，可以评估现有和新兴多模态模型的指令遵循能力，并突出了这些模型精确遵循指令的能力与人类之间的巨大差距。iWISDM的代码可在GitHub上找到：https://github.com/BashivanLab/iWISDM。

🔬 方法详解

问题定义：现有的大部分多模态模型评估基准集中于单模态输入，无法充分测试模型在复杂、多步骤指令下的视觉理解和执行能力。这限制了我们对模型在真实世界场景中应用潜力的评估，尤其是在需要结合视觉信息和自然语言指令的任务中。现有方法难以生成足够多样和复杂的任务，以充分评估模型的指令遵循能力。

核心思路：论文的核心思路是构建一个可控的虚拟环境（iWISDM），该环境能够程序化地生成无限数量的、具有不同复杂度的视觉-语言任务。通过控制任务的难度和类型，可以系统地评估多模态模型在指令遵循方面的能力。这种方法允许研究人员更精确地识别模型的优势和不足，并为未来的模型改进提供指导。

技术框架：iWISDM环境包含一个虚拟的视觉世界，其中包含各种物体和场景。任务生成器根据预定义的规则和参数，自动生成包含自然语言指令的任务。这些指令描述了模型需要执行的一系列动作，例如移动物体、改变颜色或形状等。模型接收视觉输入（例如图像或视频）和文本指令，并输出相应的动作序列。评估模块根据模型执行的动作与指令的匹配程度，计算模型的性能指标。

关键创新：iWISDM的关键创新在于其程序化任务生成能力，这使得它可以生成无限数量的、具有不同复杂度的视觉-语言任务。与现有基准相比，iWISDM能够更全面地评估多模态模型的指令遵循能力，并为模型改进提供更细粒度的反馈。此外，iWISDM环境的可控性允许研究人员系统地研究不同因素（例如指令长度、任务复杂度）对模型性能的影响。

关键设计：iWISDM环境的关键设计包括：1) 灵活的任务生成器，可以根据预定义的规则和参数生成各种类型的任务；2) 精确的评估模块，可以根据模型执行的动作与指令的匹配程度，计算模型的性能指标；3) 可视化界面，方便用户创建、修改和调试任务。具体的参数设置、损失函数和网络结构等细节取决于所评估的多模态模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文构建了三个不同复杂程度的指令遵循视觉任务基准，并在iWISDM上评估了多个多模态模型。实验结果表明，现有模型在精确遵循指令方面与人类存在显著差距，尤其是在处理长指令和复杂任务时。这突出了iWISDM作为评估多模态模型指令遵循能力的重要性和价值。

🎯 应用场景

该研究成果可应用于机器人控制、自动驾驶、智能助手等领域。通过提高多模态模型对复杂指令的理解和执行能力，可以使机器人在真实世界中更好地完成各种任务，例如在复杂环境中导航、操作物体、与人类进行更自然的交互。未来，该研究有望推动人工智能技术在实际应用中的广泛应用。

📄 摘要（原文）

The ability to perform complex tasks from detailed instructions is a key to many remarkable achievements of our species. As humans, we are not only capable of performing a wide variety of tasks but also very complex ones that may entail hundreds or thousands of steps to complete. Large language models and their more recent multimodal counterparts that integrate textual and visual inputs have achieved unprecedented success in performing complex tasks. Yet, most existing benchmarks are largely confined to single-modality inputs (either text or vision), narrowing the scope of multimodal assessments, particularly for instruction-following in multimodal contexts. To bridge this gap, we introduce the instructed-Virtual VISual Decision Making (iWISDM) environment engineered to generate a limitless array of vision-language tasks of varying complexity. Using iWISDM, we compiled three distinct benchmarks of instruction following visual tasks across varying complexity levels and evaluated several newly developed multimodal models on these benchmarks. Our findings establish iWISDM as a robust benchmark for assessing the instructional adherence of both existing and emergent multimodal models and highlight a large gap between these models' ability to precisely follow instructions with that of humans.The code of iWISDM is available on GitHub at https://github.com/BashivanLab/iWISDM.