DataVista: Diagnosing Multimodal LLMs on Data Video Understanding
作者: Yupeng Xie, Zhenyang Wang, Jiayi Zhu, Yinghao Tang, Zhouan Shen, Yiyu Chen, Yuyu Luo
分类: cs.CV, cs.AI, cs.CL
发布日期: 2026-10-08
备注: 46 pages, 22 figures, 14 tables
🔗 代码/项目: GITHUB
💡 一句话要点
提出DataVista以解决数据视频理解的评估问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 数据视频理解 多模态大语言模型 评估基准 数据感知 时间推理 叙事理解 动态数据可视化 机器学习
📋 核心要点
- 现有方法主要针对一般视频或静态图表，缺乏对数据视频理解的系统评估，导致模型在特定任务上的表现不佳。
- 本文提出DataVista基准，包含961个数据视频和6775个问题，旨在系统评估数据视频理解能力。
- 实验结果显示，最佳模型Gemini-3.1-Pro的准确率为70.0%，但在因果推理和叙事结构方面表现较差，提示未来改进方向。
📝 摘要（中文）
数据视频是一种将数据可视化与视频叙事相结合的媒体形式，广泛应用于新闻报道和商业分析。与一般视频理解相比，数据视频理解更强调准确读取动态图表中的数据、跨图表和时间整合证据，以及理解叙事组织和视觉设计如何传达信息。然而，现有基准测试主要针对一般视频或静态图表，缺乏对数据视频理解的系统评估。为此，本文提出了DataVista，这是第一个针对数据视频理解的基准，包含961个真实数据视频和6775个评估问题，组织在一个三层次的渐进能力框架下（数据感知、时间推理、叙事理解），涵盖五个主题领域的10种细分问题类型。对19种主流多模态大语言模型的系统评估显示，表现最佳的模型Gemini-3.1-Pro的整体准确率为70.0%，仍远低于人类专家的表现，且模型在因果推理和叙事结构方面表现最差。
🔬 方法详解
问题定义：本文旨在解决数据视频理解的评估问题，现有方法未能有效处理动态数据可视化与叙事的结合，导致评估标准缺失。
核心思路：通过构建DataVista基准，系统性地评估多模态大语言模型在数据视频理解中的表现，涵盖数据感知、时间推理和叙事理解三个层面。
技术框架：DataVista基准分为三个层次：数据感知（读取数据）、时间推理（跨时间整合信息）和叙事理解（理解信息传达方式），并设计了10种细分问题类型。
关键创新：DataVista是首个针对数据视频理解的基准，填补了现有评估的空白，提供了系统化的评估框架和丰富的真实数据集。
关键设计：基准包含961个真实数据视频和6775个评估问题，采用三层次能力框架，允许对模型在不同能力维度上的表现进行细致分析。
🖼️ 关键图片
📊 实验亮点
实验结果表明，最佳模型Gemini-3.1-Pro在DataVista基准上的整体准确率为70.0%，但在因果推理和叙事结构方面的表现仍显不足，提示未来研究需关注这些关键领域的提升。
🎯 应用场景
该研究的潜在应用领域包括新闻报道、商业分析和教育等，能够帮助相关领域的从业者更好地理解和利用数据视频。同时，DataVista基准的建立将推动多模态大语言模型在数据视频理解领域的进一步研究与发展。
📄 摘要（原文）
Data video is a media form that integrates data visualization with video narrative, widely adopted in news reporting and business analysis. Compared with general video understanding, data video understanding places greater emphasis on accurately reading data from animated charts, integrating evidence across charts and time, and understanding how narrative organization and visual design communicate information. Yet existing benchmarks target either general videos or static charts, and data video understanding has not been systematically evaluated. We present DataVista, the first benchmark for data video understanding, containing 961 real-world data videos and 6,775 evaluation questions organized under a three-level progressive capability framework (data perception, temporal reasoning, narrative understanding) with 10 fine-grained question types across five topic domains. Systematic evaluation of 19 mainstream MLLMs shows that the best-performing model, Gemini-3.1-Pro, achieves 70.0% overall accuracy, still far below human expert performance, with models performing worst on Causal Reasoning and Narrative Structure. Increasing frame counts and adding subtitles mainly benefit data perception and temporal reasoning, with limited gains in narrative understanding. Further analysis of model responses identifies typical failure modes in chart reading, evidence judgment, and instruction understanding. The benchmark is available at https://github.com/HKUSTDial/DataVista.