VIF-Bench: Evaluating Visual Instruction Following in Multi-Reference Image Generation

📄 arXiv: 2609.37709v1 📥 PDF

作者: Yuta Oshima, Masakazu Yoshimura, Masahiro Suzuki, Yutaka Matsuo, Hiroki Furuta

分类: cs.CV, cs.AI

发布日期: 2026-09-29

备注: Code: https://github.com/shim0114/VIF-Bench , Benchmark: https://huggingface.co/datasets/shim0114/VIF-Bench

💡 一句话要点

提出VIF-Bench以评估多参考图像生成中的视觉指令跟随能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态图像生成 视觉指令 基准测试 参考图像 生成模型 计算机视觉 人机交互

📋 核心要点

  1. 现有的多模态图像生成模型未能有效评估在多个异构视觉指令下的多参考图像生成能力。
  2. 本文提出VIF-Bench基准，通过1241个任务评估模型在多参考和多视觉指令下的生成能力。
  3. 实验结果表明，模型在遵循视觉指令时存在伪影权衡，且直接提供视觉约束比文本描述更有效。

📝 摘要（中文）

近年来，多模态图像生成模型能够同时接收多张图像和文本指令作为输入，从而实现基于参考的生成。然而，现有基准测试未能评估在多个异构视觉指令图像下，如何组合多个参考图像。为此，本文提出VIF-Bench，一个包含1241个任务的基准，旨在评估模型在这一联合设置下的能力。研究发现，模型在视觉指令遵循与生成图像中的指令伪影之间存在权衡，且在特定任务中，直接提供视觉约束比文本描述更有效。VIF-Bench作为开放基准发布，为可控的多参考图像生成提供了公平比较的基础。

🔬 方法详解

问题定义：本文旨在解决现有基准测试未能评估多参考图像生成在多个异构视觉指令下的能力，尤其是如何处理参考图像与视觉指令之间的竞争关系。

核心思路：通过设计VIF-Bench基准，涵盖多达7个参考图像和6个视觉指令，评估模型在复杂场景下的生成能力，揭示模型在遵循视觉指令时的表现。

技术框架：VIF-Bench的整体架构包括任务设计、数据收集和评估指标，任务设计涵盖多种视觉指令与参考图像的组合，数据收集则确保任务的多样性和代表性。

关键创新：VIF-Bench的创新在于其综合考虑了视觉指令与参考图像的竞争关系，提供了一个全面的评估框架，与现有方法相比，能够更深入地分析模型的生成能力。

关键设计：在任务设计中，设置了不同的视觉指令细节层次，并通过控制实验比较视觉指令与文本描述的效果，确保评估的科学性和准确性。实验中还考虑了不同的损失函数和网络结构，以优化生成效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，模型在遵循视觉指令时存在遵循与伪影之间的权衡，且在特定任务中，直接提供视觉约束的效果优于文本描述。具体而言，模型在处理具有明显状态的参考图像时，遵循视觉指令的能力较低，尤其是在光线和风的控制属性下。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、图像生成和人机交互等。通过提供一个标准化的评估基准，VIF-Bench可以帮助研究人员更好地理解和改进多模态图像生成模型的性能，推动相关技术的进步与应用。

📄 摘要（原文）

Recent multimodal image generation models can take multiple images and textual instructions as input, enabling reference-based generation guided not only by text but also by visual instructions such as layouts, arrows, and pose cues. However, existing benchmarks do not evaluate the joint setting in which multiple references must be composed under multiple and heterogeneous visual-instruction images. To address this gap, we introduce VIF-Bench, a benchmark of 1,241 tasks designed to assess the edge of model capabilities in this joint setting by covering: (i) multi-reference generation (up to 7) under multiple heterogeneous visual instructions (up to 6), (ii) cases where reference images can potentially compete with visual instructions (e.g., a strongly posed subject vs. a target pose), and (iii) controlled comparison of visual instructions with text descriptions at different levels of specificity. Using these capabilities, we uncover three findings: (1) models face an adherence-artifact trade-off: once models reach stronger visual instruction adherence, stronger adherence tends to coincide with more instruction artifacts in generated images, (2) visual instruction adherence tends to be lower on tasks whose reference images carry a salient state of the controlled attribute (e.g., a neon-lit subject under a light-direction instruction), most consistently for light and wind, and (3) for models that can understand visual instructions, it is often better to provide visual constraints directly rather than describe them in text; when using text, a moderate level of detail works better than an exhaustive description. VIF-Bench is released as an open benchmark to establish a basis for fair comparison in controllable multi-reference image generation.