AlignMMBench: Evaluating Chinese Multimodal Alignment in Large Vision-Language Models
作者: Yuhang Wu, Wenmeng Yu, Yean Cheng, Yan Wang, Xiaohan Zhang, Jiazheng Xu, Ming Ding, Yuxiao Dong
分类: cs.CL, cs.CV
发布日期: 2024-06-13 (更新: 2025-06-04)
🔗 代码/项目: GITHUB
💡 一句话要点
AlignMMBench：首个面向中文视觉场景的多模态对齐评测基准
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态对齐 视觉-语言模型 中文评测基准 对话系统 模型评估
📋 核心要点
- 现有VLM评测基准主要采用非语言方式，难以充分评估模型在复杂场景下的对齐能力。
- AlignMMBench针对中文视觉场景，构建包含单轮和多轮对话的细粒度对齐评测基准。
- CritiqueVLM评估器超越GPT-4，并提出“对齐分数”指标，量化评估模型的鲁棒性。
📝 摘要（中文）
评估大型视觉-语言模型（VLMs）的对齐能力对于确定其作为有用助手至关重要。然而，现有的基准主要侧重于使用非语言方法（如是非题和多项选择题）进行的基本能力评估。本文介绍了AlignMMBench，旨在更细致地评估对齐能力，并且是第一个专门为中文视觉环境设计的基准。该基准精心策划自真实场景和互联网资源，涵盖三个类别的十三个特定任务，包括单轮和多轮对话场景。通过结合提示重写策略，AlignMMBench包含1,054张图像和4,978个问答对。为了方便评估流程，我们开发了CritiqueVLM，一种规则校准的评估器，其评估能力超过GPT-4。此外，我们测量了“对齐分数”，这是一种定量指标，旨在评估模型在不同提示下的鲁棒性和稳定性。最后，我们评估了代表性VLMs在AlignMMBench上的性能，从而深入了解了不同VLM架构的能力和局限性。评估代码和数据可在https://github.com/THUDM/AlignMMBench获取。
🔬 方法详解
问题定义：现有的大型视觉-语言模型（VLMs）的评估基准，特别是针对中文视觉场景的，主要集中在基础能力测试上，例如通过是非题或多项选择题进行评估。这些方法无法充分捕捉模型在更复杂、更细致的场景下的对齐能力，尤其是在理解和生成符合人类常识和文化背景的中文描述方面。因此，如何设计一个能够全面、准确地评估VLMs在中文视觉场景下对齐能力的基准是一个关键问题。
核心思路：AlignMMBench的核心思路是构建一个更贴近真实世界场景的、更细粒度的评估基准，该基准不仅包含单轮对话，还包括多轮对话，从而能够更全面地评估VLMs的对齐能力。此外，该研究还提出了一个规则校准的评估器CritiqueVLM，以及一个量化指标“对齐分数”，用于更客观地评估模型的性能。通过这种方式，可以更准确地了解VLMs在中文视觉场景下的优势和不足。
技术框架：AlignMMBench的整体框架包括以下几个主要组成部分：1) 数据收集与标注：从真实世界场景和互联网资源中收集图像和相应的问答对，涵盖三个类别的十三个特定任务。2) 提示重写策略：采用提示重写策略来增加数据的多样性，提高评估的鲁棒性。3) CritiqueVLM评估器：开发一种规则校准的评估器，用于自动评估模型的输出。4) 对齐分数计算：设计一种定量指标，用于评估模型在不同提示下的鲁棒性和稳定性。5) 模型评估与分析：在AlignMMBench上评估代表性VLMs的性能，并分析其能力和局限性。
关键创新：AlignMMBench的关键创新点在于：1) 它是第一个专门为中文视觉环境设计的对齐评测基准。2) 它包含了更细粒度的任务和更复杂的对话场景（包括单轮和多轮对话）。3) 它提出了CritiqueVLM，一种规则校准的评估器，其评估能力超过GPT-4。4) 它引入了“对齐分数”这一量化指标，用于评估模型的鲁棒性和稳定性。
关键设计：AlignMMBench的关键设计包括：1) 数据集的构建：数据集的构建充分考虑了真实世界场景的多样性和复杂性，涵盖了多个类别和任务。2) 提示重写策略：提示重写策略旨在增加数据的多样性，提高评估的鲁棒性。具体的重写方法未知。3) CritiqueVLM评估器：CritiqueVLM评估器的具体实现细节未知，但强调了规则校准，以确保评估的客观性和准确性。4) 对齐分数：对齐分数的具体计算方法未知，但其目的是量化评估模型在不同提示下的鲁棒性和稳定性。
🖼️ 关键图片
📊 实验亮点
AlignMMBench构建了一个包含1054张图像和4978个问答对的中文视觉对齐评测基准。CritiqueVLM评估器的评估能力超越GPT-4。通过对多个代表性VLM的评估，揭示了不同模型架构在中文视觉场景下的能力和局限性，为后续研究提供了重要参考。
🎯 应用场景
AlignMMBench的研究成果可应用于提升视觉-语言模型在中文环境下的理解和生成能力，使其更好地服务于智能客服、图像搜索、智能教育等领域。通过更准确地评估模型的对齐能力，可以推动模型朝着更可靠、更符合人类价值观的方向发展，从而在实际应用中提供更优质的服务。
📄 摘要（原文）
Evaluating the alignment capabilities of large Vision-Language Models (VLMs) is essential for determining their effectiveness as helpful assistants. However, existing benchmarks primarily focus on basic abilities using nonverbal methods, such as yes-no and multiple-choice questions. In this paper, we address this gap by introducing AlignMMBench, which provides more nuanced evaluations of alignment capabilities and is the first benchmark specifically designed for Chinese visual contexts. This benchmark is meticulously curated from real-world scenarios and internet sources, encompassing thirteen specific tasks across three categories, and includes both single-turn and multi-turn dialogue scenarios. Incorporating a prompt rewrite strategy, AlignMMBench encompasses 1,054 images and 4,978 question-answer pairs. To facilitate the evaluation pipeline, we develop CritiqueVLM, a rule-calibrated evaluator that exceeds GPT-4's evaluation ability. Additionally, we measure the "alignment score", a quantitative metric designed to assess the robustness and stability of models across diverse prompts. Finally, we evaluate the performance of representative VLMs on AlignMMBench, offering insights into the capabilities and limitations of different VLM architectures. The evaluation code and data are available at https://github.com/THUDM/AlignMMBench.