PlaylistEval: Can Video-Language Judges Be Trusted at Day Scale and Beyond?
作者: Shayekh Bin Islam, Hwanjun Song
分类: cs.CV, cs.AI, cs.CL
发布日期: 2026-09-28
备注: 53 pages, 15 figures, 23 tables. Project page: https://playlisteval.github.io
💡 一句话要点
提出PlaylistEval以解决长视频理解中的评估信任问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长视频理解 视频语言模型 自动化评估 多模态学习 因果降解
📋 核心要点
- 现有视频语言模型在超长视频中的评估可靠性尚未得到验证，现有基准测试无法满足这一需求。
- 本文提出PlaylistEval框架，通过自动生成问题和答案对，构建了无需人工注释的评估基准。
- 实验结果表明，前沿模型的配对准确率仅为75.4%，而开源模型表现更差，且多模态使用对判断准确性至关重要。
📝 摘要（中文）
视频语言模型在视频理解中的应用日益增多，然而在超长视频中其判断的可靠性尚未得到验证。现有基准测试无法满足这一需求，因其视频时长通常仅为几分钟，且人类判断的收集无法扩展到超长视频。为此，本文提出PlaylistEval，一个无需人工注释的框架，构建了基于100小时播放列表的视频语言评估基准。该框架自动生成问题及配对答案，确保每对答案都需要在集合中进行检索。最终结果显示，基准测试包含630对答案，且在152对的分层子集中，与人类判断的符合率达到93.0%。
🔬 方法详解
问题定义：本文旨在解决视频语言模型在超长视频中的评估可靠性问题。现有方法在视频时长和人类判断收集上存在局限，无法有效评估模型的表现。
核心思路：提出PlaylistEval框架，通过自动生成问题和答案对，利用因果降解控制答案对之间的差异，从而实现无需人工注释的评估。
技术框架：整体架构包括数据收集、问题生成、答案配对和评估模块。通过对100小时播放列表的分析，生成630对问题和答案，确保每对都需要进行检索。
关键创新：最重要的创新在于构建了一个无需人工注释的评估基准，且通过因果降解控制答案对的差异，使得评估过程更加自动化和高效。
关键设计：在设计中，采用了多模态信息融合技术，确保评估的准确性，并在实验中通过对比分析验证了模型的性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，PlaylistEval在152对问题上与人类判断的符合率达到93.0%，而前沿模型的配对准确率仅为75.4%。这表明当前模型在处理长视频时的性能仍有待提升，且多模态信息的使用对判断准确性至关重要。
🎯 应用场景
该研究的潜在应用领域包括视频内容分析、自动化视频评估和多模态学习等。通过提供一个可靠的评估基准，PlaylistEval可以帮助研究人员和开发者更好地理解和改进视频语言模型的性能，推动相关技术的进步和应用。
📄 摘要（原文）
Video-language models are increasingly used as judges of video understanding, both for evaluating model outputs and for training reward models. Whether their judgments remain reliable when the evidence is buried in day-long videos has yet to be established. Existing benchmarks cannot answer this. Their videos are typically only a few minutes long, many answer pairs can be separated from the transcript alone, and collecting human judgments does not scale to ultra-long videos. We introduce PlaylistEval, an agentic framework that builds video-language judge benchmarks over 100-hour playlist collection without human annotation. It automatically generates questions with paired answers whose differences are controlled by causal degradation, so that every pair demands retrieval across the collection. The resulting benchmark contains 630 pairs across seven domains spanning both static and dynamic knowledge, and on a stratified subset of 152 pairs it agrees with human judgments 93.0% of the time (IAA 0.781). Evaluating 17 omnimodal and multimodal models from eight families reveals that frontier judges reach only 75.4% pairwise accuracy, while open-source judge models perform far behind. We further show that both retrieval and final judgment depend on using multiple modalities, and that judge accuracy degrades as the playlist set grows. We release our pipeline, benchmark, and evaluation code at https://playlisteval.github.io.