Symbal: Detecting Systematic Misalignments in Model-Generated Captions

📄 arXiv: 2607.15216v1 📥 PDF

作者: Maya Varma, Jean-Benoit Delbrouck, Sophie Ostmeier, Akshay Chaudhari, Curtis Langlotz

分类: cs.CV, cs.AI

发布日期: 2026-07-16

备注: ICML 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出Symbal以检测模型生成标题中的系统性错位问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 系统性错位 图像标题生成 模型审计 基准评估

📋 核心要点

  1. 现有的多模态大型语言模型在生成图像标题时，常常出现系统性错位的问题，影响图像与文本的匹配。
  2. 本文提出Symbal，通过双阶段结构和现成模型，自动检测图像标题中的系统性错位，并以自然语言输出结果。
  3. 在SymbalBench基准上，Symbal在63.8%的数据集中成功识别系统性错位，表现出显著的性能提升。

📝 摘要（中文）

多模态大型语言模型（MLLMs）在生成图像标题时常常引入错误，导致图像与文本对之间的错位。本文关注一种称为系统性错位的标题错误，这种错误与图像中某一特定视觉特征的存在密切相关。我们提出Symbal，一个利用结构化的双阶段设置和现成基础模型来识别系统性错位并以自然语言总结结果的工具。同时，我们引入SymbalBench，一个用于评估自动化方法的基准，包含来自自然和医学图像的170万对图像-文本对，标注了系统性错位。Symbal在该基准上表现出色，正确识别63.8%的数据集中的系统性错位，较最近的基线提升近4倍。我们的工作为审计MLLM生成的标题和识别关键错误提供了强有力的工具。

🔬 方法详解

问题定义：本文旨在解决多模态大型语言模型生成的图像标题中存在的系统性错位问题。现有方法在识别这些错位时存在不足，无法有效捕捉与特定视觉特征相关的重复错误。

核心思路：Symbal的核心思路是利用结构化的双阶段设置，结合现成的基础模型，来识别和总结系统性错位。这种设计使得模型能够更好地捕捉图像与文本之间的潜在不一致性。

技术框架：Symbal的整体架构包括两个主要阶段：第一阶段是使用基础模型提取图像特征和生成文本描述，第二阶段则是分析这些描述以识别系统性错位。该框架能够高效处理大规模数据集。

关键创新：Symbal的主要创新在于其双阶段检测机制和SymbalBench基准的引入，使得系统性错位的检测变得更加系统化和标准化。这与现有方法相比，提供了更高的准确性和可操作性。

关键设计：在设计中，Symbal使用了特定的损失函数来优化模型的识别能力，并通过精心选择的参数设置来提高检测的灵敏度和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在SymbalBench基准上，Symbal成功识别了63.8%的数据集中的系统性错位，较最近的基线提升近4倍。此外，Symbal在实际应用中能够准确识别四种MLLM生成的标题中的系统性错位，显示出其强大的审计能力。

🎯 应用场景

该研究的潜在应用领域包括医学影像分析、社交媒体内容审核和自动化内容生成等。通过提供一个有效的工具来审计MLLM生成的标题，Symbal可以帮助用户识别和纠正潜在的错误，从而提高信息的准确性和可靠性。未来，该方法可能会在更广泛的多模态任务中得到应用，推动相关领域的发展。

📄 摘要（原文）

Multimodal large language models (MLLMs) often introduce errors when generating image captions, resulting in misaligned image-text pairs. Our work focuses on a class of captioning errors that we refer to as systematic misalignments, where a recurring error in MLLM-generated captions is closely associated with the presence of a specific visual feature in the paired image. Given a vision-language dataset with MLLM-generated captions, our aim in this work is to detect such errors, a task we refer to as systematic misalignment detection. As our first key contribution, we present Symbal, which utilizes a structured, dual-stage setup with off-the-shelf foundation models to identify systematic misalignments and summarize results in natural language. As our second key contribution, we introduce SymbalBench, a benchmark designed to evaluate automated methods on our proposed task. SymbalBench consists of 1.7 million image-text pairs from two domains (natural and medical images), organized into 420 vision-language datasets with annotated systematic misalignments. Symbal exhibits strong performance on this benchmark, correctly identifying systematic misalignments in 63.8% of datasets, a nearly 4x improvement over the closest baseline. We supplement our evaluations on SymbalBench with real-world evaluations, showing that (1) Symbal can accurately surface systematic misalignments in captions generated by four MLLMs and (2) Symbal is a powerful tool for auditing off-the-shelf image-caption datasets. Ultimately, our novel task, method, and benchmark can aid users with auditing MLLM-generated captions and identifying critical errors, without requiring access to the underlying MLLM. Code is available at https://github.com/Stanford-AIMI/Symbal.