G-VEval: A Versatile Metric for Evaluating Image and Video Captions Using GPT-4o
作者: Tony Cheng Tong, Sirui He, Zhiwen Shao, Dit-Yan Yeung
分类: cs.CV, cs.AI, cs.CL
发布日期: 2024-12-18 (更新: 2024-12-19)
🔗 代码/项目: GITHUB
💡 一句话要点
提出基于GPT-4o的G-VEval，用于评估图像和视频字幕质量，并构建MSVD-Eval数据集。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉字幕评估 GPT-4o 思维链推理 多模态学习 视频理解
📋 核心要点
- 现有视觉字幕评估指标在语义理解、零样本能力和对齐人类偏好方面存在不足。
- G-VEval利用GPT-4o的思维链推理能力，支持多种评估模式，并适应图像和视频输入。
- 实验表明G-VEval与人类标注的相关性优于现有方法，并提出了新的MSVD-Eval数据集。
📝 摘要（中文）
视觉字幕的评估至关重要，但尚未得到充分探索。传统的评估指标如BLEU、METEOR、CIDEr和ROUGE常常忽略语义深度，而诸如CLIP-Score、PAC-S和Polos等训练指标在零样本场景中受到限制。基于高级语言模型的指标也难以与细微的人类偏好对齐。为了解决这些问题，我们引入了G-VEval，这是一种受G-Eval启发并由新型GPT-4o驱动的新型指标。G-VEval在大规模多模态模型中使用思维链推理，并支持三种模式：无参考、仅参考和组合模式，可适应视频和图像输入。我们还提出了MSVD-Eval，这是一个用于视频字幕评估的新数据集，旨在为人类专家和评估指标建立一个更透明和一致的框架。它通过引入准确性、完整性、简洁性和相关性（ACCR）的不同维度来解决现有数据集中缺乏明确标准的问题。大量结果表明，G-VEval在与人类注释的相关性方面优于现有方法，如Kendall tau-b和Kendall tau-c所衡量。这为各种字幕任务提供了一个灵活的解决方案，并为大型语言模型理解视频内容提供了一种直接而有效的方法，为自动字幕的进步铺平了道路。
🔬 方法详解
问题定义：现有视觉字幕评估方法，如BLEU、METEOR等，无法捕捉深层语义信息。依赖训练的指标，如CLIP-Score，泛化能力有限，难以适应零样本场景。即使是基于大型语言模型的评估方法，也难以完全对齐人类的细微偏好，导致评估结果与人类直觉存在偏差。因此，需要一种更强大、更灵活的评估指标，能够准确衡量字幕的质量。
核心思路：G-VEval的核心思路是利用GPT-4o强大的语言理解和推理能力，模拟人类评估过程。通过思维链（Chain-of-Thought）推理，让GPT-4o逐步分析图像或视频内容，并结合给定的字幕，从准确性、完整性、简洁性和相关性等多个维度进行评估。这种方法旨在更全面、更深入地理解字幕的语义，从而更准确地反映字幕的质量。
技术框架：G-VEval的整体框架包括以下几个主要阶段：1) 输入图像或视频以及待评估的字幕；2) 使用GPT-4o进行思维链推理，分析视觉内容和字幕之间的关系；3) 根据预定义的评估维度（如准确性、完整性等）对字幕进行打分；4) 输出最终的评估结果。G-VEval支持三种评估模式：无参考（仅根据视觉内容评估字幕）、仅参考（仅根据参考字幕评估）和组合模式（同时考虑视觉内容和参考字幕）。
关键创新：G-VEval的关键创新在于以下几点：1) 首次将GPT-4o应用于视觉字幕评估，利用其强大的语言理解和推理能力；2) 采用思维链推理，模拟人类的评估过程，提高评估的准确性和可靠性；3) 支持多种评估模式，适应不同的应用场景；4) 提出了MSVD-Eval数据集，为视频字幕评估提供了一个更透明和一致的基准。
关键设计：G-VEval的关键设计包括：1) 使用GPT-4o作为核心评估引擎，利用其预训练的知识和能力；2) 设计了详细的思维链提示词，引导GPT-4o进行多维度的评估；3) 定义了清晰的评估维度（准确性、完整性、简洁性和相关性），并为每个维度设计了相应的评分标准；4) MSVD-Eval数据集的设计，该数据集包含更细粒度的标注，并针对现有数据集的不足进行了改进。
🖼️ 关键图片
📊 实验亮点
实验结果表明，G-VEval在与人类标注的相关性方面显著优于现有方法，如BLEU、CIDEr等。通过Kendall tau-b和Kendall tau-c指标衡量，G-VEval与人类标注的相关性得到了显著提升，证明了其评估结果更符合人类的直觉和偏好。MSVD-Eval数据集的引入也为视频字幕评估提供了一个更可靠的基准。
🎯 应用场景
G-VEval可广泛应用于图像和视频字幕生成模型的评估与优化，辅助模型训练和性能提升。同时，该指标可用于自动视频内容理解、智能监控、辅助内容创作等领域，提升人机交互体验和内容生产效率。MSVD-Eval数据集的发布，将促进视频字幕评估领域的标准化和发展。
📄 摘要（原文）
Evaluation metric of visual captioning is important yet not thoroughly explored. Traditional metrics like BLEU, METEOR, CIDEr, and ROUGE often miss semantic depth, while trained metrics such as CLIP-Score, PAC-S, and Polos are limited in zero-shot scenarios. Advanced Language Model-based metrics also struggle with aligning to nuanced human preferences. To address these issues, we introduce G-VEval, a novel metric inspired by G-Eval and powered by the new GPT-4o. G-VEval uses chain-of-thought reasoning in large multimodal models and supports three modes: reference-free, reference-only, and combined, accommodating both video and image inputs. We also propose MSVD-Eval, a new dataset for video captioning evaluation, to establish a more transparent and consistent framework for both human experts and evaluation metrics. It is designed to address the lack of clear criteria in existing datasets by introducing distinct dimensions of Accuracy, Completeness, Conciseness, and Relevance (ACCR). Extensive results show that G-VEval outperforms existing methods in correlation with human annotations, as measured by Kendall tau-b and Kendall tau-c. This provides a flexible solution for diverse captioning tasks and suggests a straightforward yet effective approach for large language models to understand video content, paving the way for advancements in automated captioning. Codes are available at https://github.com/ztangaj/gveval