Advancing Reference-free Evaluation of Video Captions with Factual Analysis

📄 arXiv: 2509.16538v1 📥 PDF

作者: Shubhashis Roy Dipta, Tz-Ying Wu, Subarna Tripathi

分类: cs.CV, cs.CL

发布日期: 2025-09-20

💡 一句话要点

提出VC-Inspector，一种基于事实分析的视频字幕无参考评价框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频字幕评估 无参考评估 事实性分析 大型语言模型 多模态学习

📋 核心要点

  1. 现有视频字幕评估方法依赖于人工标注的参考字幕，成本高昂且难以泛化到不同领域。
  2. VC-Inspector利用大型语言模型生成伪字幕，并训练多模态模型进行无参考的事实性评估。
  3. 实验表明，VC-Inspector在VATEX-Eval数据集上与人类判断的对齐优于现有方法，并可推广到图像字幕任务。

📝 摘要（中文）

视频字幕提供了视频中人物、物体和动作的简洁快照，对于问答和事件定位等应用非常有价值。然而，获取视频字幕的人工标注成本高昂甚至不切实际，尤其是在处理不同的视频领域时。现有的在监督数据集上训练的模型在评估跨不同领域的性能时面临挑战，因为它们依赖于需要真实字幕的基于参考的评估协议。这种假设对于评估实际视频是不现实的。为了解决这些限制，我们提出了一个无需真实字幕的无参考评估框架，专注于事实基础以确保对字幕质量的准确评估。我们引入了VC-Inspector，一种新颖的字幕质量评估器，它既是无参考的又是基于事实的。利用大型语言模型，我们基于监督数据生成不同质量的伪字幕，这些伪字幕随后被用作训练多模态模型（即Qwen2.5-VL）作为评估器。我们的方法在VATEX-Eval数据集上表现出与人类判断的卓越对齐，优于现有方法。当将图像视为单帧视频时，该性能也推广到图像字幕数据集Flickr8K-Expert和Flickr8K-CF。总的来说，VC-Inspector为评估视频字幕的事实准确性提供了一个可扩展和通用的解决方案，为不同视频领域中更有效和客观的评估方法铺平了道路。

🔬 方法详解

问题定义：现有视频字幕评估方法主要依赖于参考字幕，即需要人工标注的ground truth。这种方法的痛点在于标注成本高昂，尤其是在视频领域多样化的情况下，获取高质量的参考字幕非常困难。此外，基于参考的评估方法难以泛化到新的领域，因为模型可能过度拟合训练数据中的特定模式。因此，需要一种无需参考字幕，能够直接评估生成字幕质量的方法。

核心思路：VC-Inspector的核心思路是利用大型语言模型（LLM）生成不同质量的伪字幕，然后训练一个多模态模型来区分这些伪字幕的质量。通过这种方式，模型学习到如何评估字幕的事实准确性，而无需依赖于人工标注的参考字幕。这种方法的关键在于LLM生成伪字幕的多样性和质量，以及多模态模型学习到的评估能力。

技术框架：VC-Inspector的整体框架包括以下几个主要阶段：1) 伪字幕生成：使用大型语言模型（如GPT-3或类似模型）基于视频内容生成不同质量的伪字幕。这些伪字幕的质量通过控制生成过程中的随机性和约束条件来调整。2) 多模态模型训练：使用生成的伪字幕和对应的视频数据训练一个多模态模型（如Qwen2.5-VL）。该模型的目标是学习区分不同质量的字幕，并预测字幕的事实准确性。3) 字幕质量评估：对于新的视频和生成的字幕，使用训练好的多模态模型评估字幕的事实准确性。

关键创新：VC-Inspector最重要的技术创新点在于其无参考的评估方法，以及利用大型语言模型生成伪字幕来训练评估模型。与现有方法相比，VC-Inspector不需要人工标注的参考字幕，因此更具可扩展性和通用性。此外，VC-Inspector专注于评估字幕的事实准确性，这对于确保字幕的质量至关重要。

关键设计：在伪字幕生成阶段，论文可能使用了不同的prompting策略来控制LLM生成字幕的质量。例如，可以使用不同的指令来引导LLM生成更准确或更不准确的字幕。在多模态模型训练阶段，论文可能使用了对比学习或回归损失函数来训练模型区分不同质量的字幕。具体使用的损失函数和网络结构（如Qwen2.5-VL的具体配置）需要在论文中查找。

📊 实验亮点

VC-Inspector在VATEX-Eval数据集上取得了显著的性能提升，与人类判断的对齐优于现有方法。此外，该方法还成功地推广到图像字幕数据集Flickr8K-Expert和Flickr8K-CF，证明了其通用性。具体的性能数据（例如，与现有方法的具体提升幅度）需要在论文中查找。

🎯 应用场景

VC-Inspector可应用于各种视频理解任务，例如视频检索、视频摘要和视频问答。它能够自动评估生成字幕的质量，从而提高这些任务的性能。此外，VC-Inspector还可以用于评估视频生成模型的性能，并为模型的训练提供反馈。该研究的潜在影响在于降低视频字幕评估的成本，并提高评估的客观性和准确性，从而促进视频理解技术的发展。

📄 摘要（原文）

Video captions offer concise snapshots of actors, objects, and actions within a video, serving as valuable assets for applications such as question answering and event localization. However, acquiring human annotations for video captions is costly or even impractical, especially when dealing with diverse video domains. Existing models trained on supervised datasets face challenges in evaluating performance across different domains due to the reliance on reference-based evaluation protocols, which necessitate ground truth captions. This assumption is unrealistic for evaluating videos in the wild. To address these limitations, we propose a reference-free evaluation framework that does not require ground truth captions, focusing on factual grounding to ensure accurate assessment of caption quality. We introduce VC-Inspector, a novel caption quality evaluator that is both reference-free and factually grounded. Utilizing large language models, we generate pseudo captions of varying quality based on supervised data, which are subsequently used to train a multimodal model (i.e., Qwen2.5-VL) as the evaluator. Our approach demonstrates superior alignment with human judgments on the VATEX-Eval dataset, outperforming existing methods. The performance also generalizes to image caption datasets, Flickr8K-Expert and Flickr8K-CF, when viewing images as 1-frame videos. Overall, VC-Inspector offers a scalable and generalizable solution for evaluating the factual accuracy of video captions, paving the way for more effective and objective assessment methodologies in diverse video domains.