VCIFBench: Evaluating Complex Instruction Following for Video Understanding

📄 arXiv: 2606.04588v1 📥 PDF

作者: Huangchen Xu, Yuan Wu, Yi Chang

分类: cs.CL

发布日期: 2026-06-03

💡 一句话要点

提出VCIFBench以评估视频理解中的复杂指令跟随能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频理解 复杂指令 多模态模型 评估基准 DPO训练 约束满足 模型评估

📋 核心要点

  1. 现有视频理解基准主要依赖简单提示，无法有效评估模型在复杂指令下的表现。
  2. 论文提出VCIFBench基准，通过构建丰富的约束指令来评估模型的复杂指令跟随能力。
  3. 实验结果显示，联合约束满足仍然具有挑战性，但在VCIFBench数据上进行DPO训练可显著提升性能。

📝 摘要（中文）

多模态大型语言模型在视频理解方面取得了快速进展，但现有基准主要依赖简单提示，缺乏对模型是否能满足明确输出约束的充分证据。为此，本文提出了VCIFBench，这是一个用于评估视频理解中复杂指令跟随的基准。VCIFBench构建了丰富约束的指令，涵盖内容、格式、风格和结构要求，并通过混合验证管道评估模型输出。该基准包含306个可满足的测试指令、540对DPO偏好数据集和30项冲突诊断子集。对10个多模态大型语言模型的实验表明，联合约束满足仍然具有挑战性。此外，我们进一步展示了在VCIFBench数据上进行DPO训练可以提高指令跟随性能。

🔬 方法详解

问题定义：本文旨在解决现有视频理解基准在评估复杂指令跟随能力时的不足，现有方法多依赖简单提示，无法全面反映模型的实际能力。

核心思路：提出VCIFBench基准，构建包含内容、格式、风格和结构等多重约束的复杂指令，以全面评估模型在视频理解中的表现。

技术框架：VCIFBench的整体架构包括三个主要模块：指令生成模块、模型输出评估模块和混合验证管道。指令生成模块负责构建约束丰富的测试指令，模型输出评估模块则对模型的响应进行评估，混合验证管道结合多种验证方法确保评估的全面性和准确性。

关键创新：最重要的创新在于构建了一个包含306个可满足测试指令的基准，首次系统性地评估了复杂指令下的模型表现，填补了现有基准的空白。

关键设计：在设计过程中，采用了多种约束条件，并通过DPO偏好数据集进行训练，以优化模型在复杂指令下的响应能力。

📊 实验亮点

实验结果表明，尽管联合约束满足仍然具有挑战性，但在VCIFBench数据上进行DPO训练后，模型的指令跟随性能显著提升，具体提升幅度和性能数据在论文中详细列出。

🎯 应用场景

VCIFBench的研究成果可广泛应用于视频理解、智能助手、自动化内容生成等领域。通过提升模型在复杂指令下的表现，能够推动多模态交互技术的发展，提升用户体验和系统智能化水平。

📄 摘要（原文）

Multimodal large language models have made rapid progress in video understanding, yet existing benchmarks largely rely on simple prompts and provide limited evidence about whether models can satisfy explicit output constraints. We introduce VCIFBench, a benchmark for evaluating complex instruction following in video understanding. VCIFBench constructs constraint-rich instructions from both benchmark-adapted and directly video-grounded prompts, covering content, format, style, and structure requirements, and evaluates model outputs with a hybrid verification pipeline. The benchmark contains 306 satisfiable test instructions, a 540-pair DPO preference dataset, and a 30-item conflict diagnostic subset. Experiments on 10 MLLMs show that joint constraint satisfaction remains challenging. We further show that DPO training on VCIFBench data can improve instruction-following performance.