MV-Bench: Benchmarking Multimodal Large Language Models for Coordinated Multi-View Interface Construction

📄 arXiv: 2607.19910v1 📥 PDF

作者: Yue Zhao, Hongxu Liu, Feiyu Wang, Xiaoyu Yang, Tong Ge, Zhen Yang, Chao Wang, Qiong Zeng

分类: cs.CV, cs.HC

发布日期: 2026-07-22

备注: Submitted to IEEE VIS 2026

💡 一句话要点

提出MV-Bench以解决多视图接口构建评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大型语言模型 可视化开发 接口构建 数据绑定 交互逻辑 评估基准

📋 核心要点

  1. 现有方法主要关注单图生成，缺乏对协调多视图接口构建的系统评估，导致MLLM能力未被充分探索。
  2. 论文提出MV-Bench基准，通过使用Tableau工作簿文件作为真实数据，评估MLLM在多视图接口构建中的表现。
  3. 实验结果显示，最强模型在视觉布局重现上达到75.45%的准确率，但在数据绑定和交互完整性上表现较差，分别为21.71%和11.68%。

📝 摘要（中文）

多模态大型语言模型（MLLMs）越来越被期望通过直接从视觉设计生成代码来自动化可视化开发。然而，现有评估主要集中在单图生成上，忽视了需要联合推理数据语义、视图协调和交互逻辑的多视图接口构建。因此，MLLM在这一设置下的能力仍未得到充分探索，且缺乏专门的基准进行系统评估。我们提出了MV-Bench，一个用于评估MLLM在协调多视图接口构建中的基准。该基准包含92个基础接口和1,048个经过验证的实例，评估结果显示当前MLLM能够重现视觉外观，但在生成数据语义和交互逻辑方面仍然有限。

🔬 方法详解

问题定义：本论文旨在解决现有多模态大型语言模型在协调多视图接口构建中的评估不足，现有方法未能有效处理数据语义、视图协调和交互逻辑的联合推理问题。

核心思路：提出MV-Bench基准，利用Tableau工作簿文件作为真实数据来源，确保数据绑定、视觉映射和交互的准确性，从而系统评估MLLM的能力。

技术框架：整体架构包括多阶段管道，首先将Tableau文件转换为结构化中间表示，然后生成可执行的Web接口。基准包含92个基础接口和1,048个实例，涵盖多种图表类型、数据集和交互模式。

关键创新：MV-Bench的最大创新在于使用Tableau工作簿文件作为基准，确保了数据绑定和交互逻辑的完整性，与现有方法相比，提供了更为系统和全面的评估标准。

关键设计：在实验中，采用了多种评估指标，包括视觉保真度、数据绑定正确性和交互完整性，确保全面评估MLLM的生成能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，最强的模型在视觉布局重现上达到了75.45%的准确率，但在数据绑定和交互完整性方面的表现较差，分别仅为21.71%和11.68%。这些结果表明，尽管当前MLLM能够重现视觉外观，但在生成数据语义和交互逻辑方面仍存在显著不足。

🎯 应用场景

该研究的潜在应用领域包括数据可视化工具的自动化开发、商业智能分析以及教育领域的可视化教学。通过提高MLLM在多视图接口构建中的能力，可以显著提升用户体验和开发效率，未来可能推动更多智能可视化应用的落地。

📄 摘要（原文）

Multimodal large language models (MLLMs) are increasingly expected to automate visualization development by generating code directly from visual designs. However, existing evaluations mainly focus on single-chart generation and overlook coordinated multi-view interface construction, which requires joint reasoning about data semantics, view coordination, and interaction logic. Consequently, MLLM capabilities in this setting remain underexplored, and the field lacks a dedicated benchmark for systematic assessment. We introduce MV-Bench, a benchmark for evaluating MLLMs on coordinated multi-view interface construction. Instead of relying on incomplete or inconsistent open-source implementations, we use Tableau workbook files as ground truth because they explicitly encode data bindings, visual mappings, and interactions. We develop a multi-stage pipeline that converts these specifications into executable web interfaces through structured intermediate representations. The benchmark contains 92 base interfaces and 1,048 verified instances created by recombining chart types, datasets, and interaction patterns. Each instance includes executable code, a rendered interface, a dataset, and interaction annotations. We evaluate five state-of-the-art MLLMs in a single-pass setting using metrics for visual fidelity, data binding correctness, and interaction completeness. The strongest model achieves 75.45 percent accuracy in visual layout reproduction, but only 21.71 percent in data binding and 11.68 percent in interaction completeness. These results show that current MLLMs can reproduce visual appearance but remain limited in generating the data semantics and interactive logic required by coordinated multi-view interfaces. Iterative refinement improves code executability but does not substantially reduce the gap in data binding and interaction generation.