HICEScore: A Hierarchical Metric for Image Captioning Evaluation
作者: Zequn Zeng, Jianqiao Sun, Hao Zhang, Tiansheng Wen, Yudi Su, Yan Xie, Zhengjue Wang, Bo Chen
分类: cs.CV
发布日期: 2024-07-26
备注: Accepted by ACM MM2024
🔗 代码/项目: GITHUB
💡 一句话要点
提出HICEScore，一种用于图像描述评估的分层无参考指标，解决现有方法对局部幻觉和细粒度视觉信息敏感度不足的问题。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 图像描述评估 无参考指标 分层评估 局部幻觉检测 跨模态匹配
📋 核心要点
- 现有基于CLIP的无参考图像描述评估指标在检测局部文本幻觉和对小视觉对象敏感度方面存在不足。
- HICE-S通过检测局部视觉区域和文本短语，构建分层评分机制，实现可解释的评估过程。
- 实验表明HICE-S在多个基准测试中优于现有无参考和基于参考的指标，并与人工判断高度一致。
📝 摘要（中文）
图像描述评估指标可分为基于参考的和无参考的两类。然而，由于过度依赖有限的人工标注参考，基于参考的方法可能难以评估由先进的多模态大型语言模型生成的包含丰富视觉细节的描述性文本。相比之下，先前的无参考指标已被证明通过CLIP跨模态相似性是有效的。尽管如此，基于CLIP的指标受限于其全局图像-文本兼容性解决方案，通常在检测局部文本幻觉方面存在缺陷，并且对小的视觉对象不敏感。此外，它们的单尺度设计无法提供可解释的评估过程，例如精确定位描述错误的位置和识别尚未描述的视觉区域。为了解决这些问题，我们提出了一种新的用于图像描述评估的无参考指标，称为分层图像描述评估分数（HICE-S）。通过检测局部视觉区域和文本短语，HICE-S构建了一个可解释的分层评分机制，突破了现有无参考指标的单尺度结构的障碍。综合实验表明，我们提出的指标在多个基准测试中实现了SOTA性能，优于现有的无参考指标（如CLIP-S和PAC-S）和基于参考的指标（如METEOR和CIDEr）。此外，多个案例研究表明，HICE-S对详细描述的评估过程与可解释的人工判断非常相似。
🔬 方法详解
问题定义：现有图像描述评估指标，特别是基于CLIP的无参考指标，在评估包含丰富细节的描述性文本时，难以有效检测局部文本幻觉，并且对细小的视觉对象不够敏感。此外，单尺度的评估方式缺乏可解释性，无法定位描述错误或识别未描述的视觉区域。
核心思路：HICE-S的核心思路是构建一个分层的评估机制，通过检测局部视觉区域和文本短语，将图像描述评估分解为多个层次，从而提高对局部细节的敏感度，并提供更具解释性的评估结果。这种分层结构允许指标关注图像的不同区域以及描述文本的不同部分，从而更准确地评估描述的质量。
技术框架：HICE-S的技术框架主要包含以下几个阶段：1) 局部视觉区域检测：使用目标检测模型（具体模型未知）检测图像中的局部视觉区域。2) 文本短语检测：使用自然语言处理技术（具体方法未知）检测描述文本中的关键短语。3) 跨模态匹配：将检测到的视觉区域和文本短语进行跨模态匹配，评估它们之间的相关性。4) 分层评分：根据跨模态匹配的结果，对不同层次的视觉区域和文本短语进行评分，最终得到一个综合的评估分数。
关键创新：HICE-S的关键创新在于其分层的评估机制，它突破了现有无参考指标的单尺度结构，能够更有效地检测局部文本幻觉，并对细小的视觉对象更加敏感。此外，分层结构还提供了更具解释性的评估结果，可以帮助用户了解描述的优点和不足。与现有方法相比，HICE-S不再仅仅关注全局的图像-文本兼容性，而是更加关注局部细节的匹配。
关键设计：论文中没有明确给出关键参数设置、损失函数、网络结构等技术细节。目标检测模型和文本短语检测的具体方法未知。跨模态匹配的具体实现方式，以及分层评分的具体计算方法也未知。这些细节需要在论文的后续章节或代码中查找。
🖼️ 关键图片
📊 实验亮点
HICEScore在多个图像描述评估基准测试中取得了SOTA性能，优于现有的无参考指标（如CLIP-S和PAC-S）以及基于参考的指标（如METEOR和CIDEr）。案例研究表明，HICEScore对详细描述的评估过程与人工判断高度一致，验证了其有效性和可靠性。具体的性能提升幅度未知。
🎯 应用场景
HICEScore可应用于图像描述模型的训练和评估，帮助模型生成更准确、更详细的描述性文本。该指标还可用于评估图像描述数据集的质量，并为图像描述任务提供更可靠的评估标准。此外，HICEScore的潜在应用领域包括视觉问答、图像检索和人机交互等。
📄 摘要（原文）
Image captioning evaluation metrics can be divided into two categories, reference-based metrics and reference-free metrics. However, reference-based approaches may struggle to evaluate descriptive captions with abundant visual details produced by advanced multimodal large language models, due to their heavy reliance on limited human-annotated references. In contrast, previous reference-free metrics have been proven effective via CLIP cross-modality similarity. Nonetheless, CLIP-based metrics, constrained by their solution of global image-text compatibility, often have a deficiency in detecting local textual hallucinations and are insensitive to small visual objects. Besides, their single-scale designs are unable to provide an interpretable evaluation process such as pinpointing the position of caption mistakes and identifying visual regions that have not been described. To move forward, we propose a novel reference-free metric for image captioning evaluation, dubbed Hierarchical Image Captioning Evaluation Score (HICE-S). By detecting local visual regions and textual phrases, HICE-S builds an interpretable hierarchical scoring mechanism, breaking through the barriers of the single-scale structure of existing reference-free metrics. Comprehensive experiments indicate that our proposed metric achieves the SOTA performance on several benchmarks, outperforming existing reference-free metrics like CLIP-S and PAC-S, and reference-based metrics like METEOR and CIDEr. Moreover, several case studies reveal that the assessment process of HICE-S on detailed captions closely resembles interpretable human judgments.Our code is available at https://github.com/joeyz0z/HICE.