Text to Automata Diagrams: Comparing TikZ Code Generation with Direct Image Synthesis

📄 arXiv: 2603.07936v1 📥 PDF

作者: Ethan Young, Zichun Wang, Aiden Taylor, Chance Jewell, Julian Myers, Satya Sri Rajiteswari Nimmagadda, Anthony White, Aniruddha Maiti, Ananya Jana

分类: cs.CV

发布日期: 2026-03-09

备注: Accepted to ASEE North Central Section 2026

💡 一句话要点

研究比较了直接图像合成与TikZ代码生成在自动机图转换中的性能，旨在辅助计算机科学教学。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动机图 视觉-语言模型 大型语言模型 TikZ代码生成 计算机科学教育

📋 核心要点

  1. 计算机科学教学中图表应用广泛，但学生手绘图的结构、布局和正确性差异大，难以自动化评估。
  2. 论文探索使用视觉-语言模型从手绘图中提取文本描述，再利用大型语言模型生成可编译的TikZ代码。
  3. 实验表明，直接由视觉-语言模型生成的描述不够准确，人工校正能显著提升描述质量，进而提高TikZ代码的准确性。

📝 摘要（中文）

本研究探讨了当前视觉-语言模型和大型语言模型处理自动机和形式语言等计算机科学课程中常用的图表，并生成准确的文本和数字表示的能力。研究使用扫描的学生手绘图作为输入，通过视觉-语言模型生成文本描述，并由人工校正以确保准确性。然后，将生成和校正后的描述输入到大型语言模型以生成TikZ代码。将编译后的图与原始扫描图进行评估。研究发现，直接从图像生成的描述通常不准确，人工校正可以显著提高质量。该研究旨在通过自动化评分和反馈以及创建更易于访问的教学材料来帮助计算机科学教育。

🔬 方法详解

问题定义：论文旨在解决计算机科学教育中，学生手绘自动机图的自动理解和转换问题。现有方法主要依赖人工判读，效率低且主观性强。视觉-语言模型在处理此类任务时，准确性仍有待提高，难以直接生成可用的数字表示。

核心思路：论文的核心思路是将问题分解为两个阶段：首先，利用视觉-语言模型将图像转换为文本描述；然后，利用大型语言模型将文本描述转换为TikZ代码。通过引入人工校正环节，提高文本描述的准确性，从而提升最终TikZ代码的质量。

技术框架：整体流程包括以下几个阶段：1) 收集学生手绘自动机图；2) 使用视觉-语言模型（如BLIP、CLIP等，具体模型未知）生成文本描述；3) 人工校正文本描述；4) 使用大型语言模型（如GPT-3、LLaMA等，具体模型未知）将文本描述转换为TikZ代码；5) 编译TikZ代码生成图；6) 将生成的图与原始手绘图进行比较评估。

关键创新：论文的关键创新在于比较了直接图像合成（未知具体方法）与基于文本描述的TikZ代码生成两种方法，并强调了人工校正在提高视觉-语言模型输出质量中的作用。通过引入人工校正环节，有效弥补了现有视觉-语言模型在处理复杂图表时的不足。

关键设计：论文中关于视觉-语言模型和大型语言模型的选择、训练方式、参数设置以及损失函数等关键设计细节未知。人工校正环节的具体流程和标准也未详细说明。TikZ代码编译的具体实现方式也未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，直接使用视觉-语言模型生成的文本描述往往不够准确，需要人工校正。经过人工校正后，文本描述的质量得到显著提升，从而提高了后续TikZ代码生成的准确性。具体的性能数据（例如准确率、召回率等）以及与其它基线的对比情况未知。

🎯 应用场景

该研究成果可应用于计算机科学教育领域，实现自动机图的自动评分和反馈，减轻教师负担。此外，还可以用于生成更易于访问的教学材料，例如将手绘草图转换为清晰的数字图表，提高教学效率和学习体验。未来，该技术有望扩展到其他类型的图表，例如数据结构图、电路图等。

📄 摘要（原文）

Diagrams are widely used in teaching computer science courses. They are useful in subjects such as automata and formal languages, data structures, etc. These diagrams, often drawn by students during exams or assignments, vary in structure, layout, and correctness. This study examines whether current vision-language and large language models can process such diagrams and produce accurate textual and digital representations. In this study, scanned student-drawn diagrams are used as input. Then, textual descriptions are generated from these images using a vision-language model. The descriptions are checked and revised by human reviewers to make them accurate. Both the generated and the revised descriptions are then fed to a large language model to generate TikZ code. The resulting diagrams are compiled and then evaluated against the original scanned diagrams. We found descriptions generated directly from images using vision-language models are often incorrect and human correction can substantially improve the quality of vision language model generated descriptions. This research can help computer science education by paving the way for automated grading and feedback and creating more accessible instructional materials.