Image Captioning Evaluation in the Age of Multimodal LLMs: Challenges and Future Perspectives

📄 arXiv: 2503.14604v2 📥 PDF

作者: Sara Sarto, Marcella Cornia, Rita Cucchiara

分类: cs.CV, cs.AI, cs.CL

发布日期: 2025-03-18 (更新: 2025-05-30)

备注: IJCAI 2025. Repo GitHub: https://github.com/aimagelab/awesome-captioning-evaluation

💡 一句话要点

针对多模态LLM时代图像描述评估的挑战与未来方向的综述

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像描述 评估指标 多模态LLM 自然语言生成 机器视觉

📋 核心要点

  1. 现有图像描述评估指标在面对多模态大型语言模型（MLLM）生成更长、更详细的描述时，面临适应性挑战。
  2. 该论文通过对现有图像描述评估指标进行多维度分析，揭示了其在与人类判断相关性、排序准确性和幻觉敏感性等方面的优缺点。
  3. 该研究旨在为未来图像描述评估的研究方向提供指导，特别是在MLLM时代，如何设计更有效、更可靠的评估指标。

📝 摘要（中文）

机器生成的图像描述的评估是一个复杂且不断发展的挑战。随着多模态大型语言模型（MLLM）的出现，图像描述已成为一项核心任务，这增加了对稳健和可靠的评估指标的需求。本综述全面概述了图像描述评估的进展，分析了现有指标的演变、优势和局限性。我们从多个维度评估这些指标，包括与人类判断的相关性、排序准确性和对幻觉的敏感性。此外，我们探讨了MLLM生成的更长、更详细的描述所带来的挑战，并检查了当前指标对这些风格变化的适应性。我们的分析突出了标准评估方法的一些局限性，并为图像描述评估的未来研究提出了有希望的方向。

🔬 方法详解

问题定义：图像描述评估旨在衡量机器生成的图像描述与真实图像内容的相关性和准确性。现有方法在评估由多模态大型语言模型（MLLM）生成的更长、更详细的描述时面临挑战，因为这些描述的风格变化较大，且容易出现幻觉，导致传统指标的评估效果不佳。现有指标难以全面衡量描述的质量，尤其是在排序准确性和对幻觉的敏感性方面存在不足。

核心思路：该论文的核心思路是对现有图像描述评估指标进行全面的回顾和分析，从多个维度评估这些指标的性能，包括与人类判断的相关性、排序准确性和对幻觉的敏感性。通过分析这些指标的优势和局限性，为未来研究提供改进方向，以适应MLLM时代图像描述评估的新需求。

技术框架：该论文采用综述的形式，没有提出新的技术框架。其主要工作是对现有文献进行整理、分析和总结。论文首先介绍了图像描述评估的发展历程，然后详细分析了各种评估指标的原理、优缺点和适用场景。最后，论文探讨了MLLM带来的新挑战，并提出了未来研究的潜在方向。

关键创新：该论文的关键创新在于其对现有图像描述评估指标进行了全面的、多维度的分析。不同于以往的研究，该论文不仅关注指标的性能表现，还深入探讨了指标的局限性和适用场景，特别是在MLLM时代的新挑战下。这种全面的分析为未来研究提供了更清晰的方向。

关键设计：该论文没有涉及具体的算法设计。其主要贡献在于对现有评估指标的系统性分析和总结，包括BLEU、METEOR、ROUGE、CIDEr、SPICE等常用指标，以及近年来提出的新指标。论文分析了这些指标的计算方法、优缺点和适用场景，并探讨了如何改进这些指标以适应MLLM时代的新需求。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

该论文对现有图像描述评估指标进行了全面的分析，揭示了它们在评估MLLM生成的长文本描述时存在的局限性。研究强调了现有指标在排序准确性和对幻觉的敏感性方面的不足，并指出了未来研究的潜在方向，例如开发更鲁棒、更能反映人类判断的评估指标。

🎯 应用场景

该研究成果可应用于改进图像描述系统的评估流程，帮助研究人员和开发者选择更合适的评估指标，从而更准确地衡量模型性能。此外，该研究还能促进更有效、更可靠的图像描述评估指标的开发，提升多模态大型语言模型在图像理解和生成方面的能力，并最终应用于智能客服、图像搜索、辅助视觉等领域。

📄 摘要（原文）

The evaluation of machine-generated image captions is a complex and evolving challenge. With the advent of Multimodal Large Language Models (MLLMs), image captioning has become a core task, increasing the need for robust and reliable evaluation metrics. This survey provides a comprehensive overview of advancements in image captioning evaluation, analyzing the evolution, strengths, and limitations of existing metrics. We assess these metrics across multiple dimensions, including correlation with human judgment, ranking accuracy, and sensitivity to hallucinations. Additionally, we explore the challenges posed by the longer and more detailed captions generated by MLLMs and examine the adaptability of current metrics to these stylistic variations. Our analysis highlights some limitations of standard evaluation approaches and suggests promising directions for future research in image captioning assessment.