ReFigBench: Benchmarking Scientific Figure Reconstruction as Editable PowerPoint Artifacts
作者: Liyang Fan, Chi Wei, Yitai Li, Xinping Bi, Guhong Chen, Chenghao Sun, Haoxiang Yang, Qingwen Li, Kai Yan, Hong Li, Bo Li
分类: cs.CL, cs.CV
发布日期: 2026-09-16
备注: 31 pages, 7 figures, including appendices
💡 一句话要点
提出ReFigBench以解决科学图形重建的可编辑性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态编码 科学图形重建 可编辑文档 基准评估 图形处理 机器学习 人工智能
📋 核心要点
- 现有的多模态编码代理评估方法无法准确反映模型在图形重建中的表现，导致评估结果不够全面。
- 本文提出ReFigBench基准框架，专注于将科学图形转化为可编辑的PowerPoint幻灯片，涵盖文本、拓扑和布局等元素。
- 实验结果显示，模型在不同工作流下的表现差异显著，且人类评审更倾向于某些渲染方式，揭示了可编辑性与保真度之间的挑战。
📝 摘要（中文）
多模态编码代理旨在将视觉输入转化为可用的文档工件，但现有评估方法往往局限于短期工具调用或API跟踪，无法准确评估模型的表现。本文研究科学概述图形重建任务，提出ReFigBench基准框架，利用1000个真实的概述图形进行评估。通过直接代码生成和专门的PPTX工作流，评估不同模型在重建图形时的表现，结果表明，模型的表现受其工作流和环境的影响，且在可编辑性与保真度之间存在显著的权衡。
🔬 方法详解
问题定义：本文旨在解决科学图形重建为可编辑PowerPoint幻灯片的具体问题。现有方法在评估模型表现时，往往忽视了上下文和工具环境的影响，导致评估结果不准确。
核心思路：提出ReFigBench基准框架，通过真实的科学图形数据集，评估多模态编码代理在图形重建中的能力，关注可编辑性与保真度的平衡。
技术框架：整体架构包括数据集构建、模型训练和评估三个主要模块。数据集由1000个真实的概述图形组成，模型通过直接代码生成和专门的PPTX工作流进行训练与评估。
关键创新：最重要的创新在于引入了专门的PPTX工作流，能够在不同的环境中评估模型的表现，揭示了模型与其工作流之间的相互影响。
关键设计：在模型训练中，采用了多种配置和损失函数，特别关注于图形的文本、拓扑和布局的保留，确保生成的幻灯片在可编辑性和视觉效果上的平衡。
🖼️ 关键图片
📊 实验亮点
实验结果显示，尽管最强模型在不同工作流下的表现存在显著差异，但在大多数情况下，人类评审更倾向于专门工作流生成的渲染。模型在某些配置下的表现未能达到预期的标准，揭示了可编辑性与保真度之间的权衡。
🎯 应用场景
该研究的潜在应用领域包括科学文献的自动化处理、教育领域的教学材料生成以及数据可视化工具的开发。通过提高科学图形的可编辑性，能够极大地提升研究人员和教育工作者的工作效率，促进知识的传播与共享。
📄 摘要（原文）
Multimodal coding agents are expected to turn visual inputs into usable artifacts, and they act through a harness, the layer of tools, context management, and execution environment around the model. Existing evaluations often isolate short tool calls, API traces, or screenshot resemblance, and a low score under these proxies cannot say whether the model saw poorly, planned poorly, or was failed by its harness. We study scientific overview figure reconstruction, an agent task in which a source image must become an editable PowerPoint slide that preserves text, topology, layout, and native document structure. We introduce ReFigBench, a benchmark and evaluation framework built on 1,000 real overview figures retrieved from arXiv papers with full provenance. Coding agents from four model families reconstruct every figure under two workflows, direct code generation and a specialized PPTX workflow, and the strongest model runs inside two commercial harnesses, yielding ten configurations. Evaluation combines deterministic artifact checks, repeated automated scoring by judges from two model families, and blinded human comparisons. Perception remains a bottleneck that iterative rendering only partly repays. Whether workflow effort converts into quality depends on the model together with its harness, since the same model gains from the specialized workflow inside one harness and loses inside the other, and the harness shifts scores even under an identical direct prompt. The specialized workflow erases native connectors in every configuration, human judges still prefer its renderings in most matchups, and even the strongest agent falls short of the rubric ceiling. These results expose the tension between fidelity and editability as the central challenge for practical multimodal document agents.