From Pixel to Coding: Evaluating the Figure Reproduction Capabilities of MLLMs
作者: Zijian Chen, Zhengyu Chen, Bohan Liang, Lirong Deng, Yushuo Zheng, Yanwei Jiang, Qi Jia, Kaiwei Zhang, Wenjun Zhang, Guangtao Zhai
分类: cs.CV, cs.AI
发布日期: 2026-10-07
备注: 46 pages, 18 figures
💡 一句话要点
提出FigCodeBench以解决多模态大语言模型的图形重现评估问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 图形重现 评估框架 数据集构建 复杂结构推理
📋 核心要点
- 现有方法通常孤立评估视觉理解和代码生成，缺乏对多模态统一性的评估，导致无法全面衡量模型能力。
- 本文提出FigCodeBench框架，系统构建数据集并将图形重现分为三个层次，整合多模态理解与生成。
- 在24个MLLMs上进行的实验显示，不同编程语言和难度场景下存在普遍的性能下降，尤其在刚性声明性语言中表现显著。
📝 摘要（中文）
多模态大语言模型（MLLMs）在视觉理解和代码生成方面表现出色，但现有基准通常孤立评估这两种模态，缺乏对其统一性的专门评估。为此，本文提出了FigCodeBench，一个全面的框架，用于严格评估MLLMs在图形重现方面的能力，整合了多模态理解与生成。我们设计了系统的数据集构建流程，涵盖7个功能类别和4种编程语言，共计6194个实例，并将图形重现分为三个层次，针对复杂结构推理、不同纵横比和密集几何约束进行建模。通过多维评估协议，我们在24个广泛使用的MLLMs上进行了实验，观察到不同编程语言和难度场景下的普遍非线性性能下降。
🔬 方法详解
问题定义：本文旨在解决现有多模态大语言模型在图形重现能力评估中的不足，现有方法未能有效评估模型的多模态统一性和复杂视觉结构的理解能力。
核心思路：提出FigCodeBench框架，通过系统的数据集构建和多维评估协议，全面评估MLLMs在图形重现中的表现，特别关注复杂结构推理和多种编程语言的适应性。
技术框架：框架包括数据集构建、图形重现层次划分和多维评估协议三个主要模块。数据集涵盖多种功能类别和编程语言，评估协议则结合视觉保真度和语法同构性。
关键创新：最重要的创新在于提出了一个系统化的评估框架，能够同时考量视觉理解和代码生成的能力，填补了现有评估方法的空白。
关键设计：在数据集构建中，设计了6194个实例，涵盖7个功能类别和4种编程语言；评估协议与人类偏好高度一致，确保评估结果的可靠性。实验中观察到的性能下降趋势为模型改进提供了重要参考。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在24个MLLMs上，模型在不同编程语言和难度场景下普遍存在性能下降，尤其在刚性声明性语言中，性能指标显著下降。这一发现为未来模型优化提供了重要的方向。
🎯 应用场景
该研究的潜在应用领域包括教育、软件开发和自动化设计等。通过提升多模态大语言模型在图形重现方面的能力，可以为程序员提供更智能的编程辅助工具，进而提高开发效率和代码质量。未来，该框架还可能推动更复杂的多模态任务的研究与应用。
📄 摘要（原文）
Multimodal Large Language Models (MLLMs) have demonstrated impressive capabilities in both visual understanding and code generation. However, existing benchmarks typically evaluate these two modalities in isolation, lacking a dedicated assessment of their unification, i.e., how a model can perceive complex visual structures and synthesize them into precise, executable code. Moreover, current visual code generation benchmarks often rely on simplified layouts within single programming environments, falling short of evaluating true unified multimodal reasoning. To bridge this gap, we propose FigCodeBench, a comprehensive framework for rigorously evaluating MLLMs on figure reproduction, integrating multimodal comprehension and generation. We first design a systematic dataset construction pipeline, resulting in a total of 6,194 instances that cover 7 functional categories and 4 types of programming languages. We further categorize figure reproduction into three tiers with visual and code complexity modeling, specifically targeting complex structural reasoning, varying aspect ratios, and dense geometric constraints. We introduce a multi-dimensional evaluation protocol, encompassing visual fidelity and syntactic isomorphism, that aligns highly with the Mean Machine Opinion Score (MMOS) and human preferences. Based on our framework, we conducted extensive experiments on 24 widely used proprietary and open-source MLLMs (e.g., Gemini 3.1 Pro, GPT-5.4, and Kimi-K2.5), where we observed a universal, non-linear performance cliff across different programming languages and difficulty scenarios for all models, and gained several insights, such as the significant metric decline in rigid declarative languages.