TriGeoBench: A Multimodal Mathematical Geometry Benchmark with Figures and TikZ
作者: Jing Wang, Yitong Yang, Hao Dou, Yaomin Wu, Shuting He, Tingfei Shen, Jia Wu, Jiaqi Li, Yinglin Wang
分类: cs.AI, cs.DB
发布日期: 2026-10-20
备注: 18 pages, 7 figures, 5 tables, including appendices. The first four authors contributed equally
💡 一句话要点
提出TriGeoBench以解决几何推理不足的问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 几何推理 多模态基准 TikZ 数学教育 大型语言模型
📋 核心要点
- 现有的数学基准主要依赖光栅化图形，难以评估模型对几何结构的理解能力。
- TriGeoBench通过构建包含问答对和TikZ代码的几何图形，提供了一个新的多模态基准。
- 实验结果揭示了模型在细粒度结构和图像-文本对齐方面的挑战，且提供了人类策划的参考TikZ的实验结果。
📝 摘要（中文）
多模态大型语言模型在视觉-语言能力上表现出色，但其几何推理能力仍未得到充分理解。现有的数学基准通常依赖于光栅化图形，覆盖的几何知识领域和响应格式有限，难以评估模型是否真正理解几何结构。为此，本文提出了TriGeoBench，这是一个以几何为中心的多模态基准，基于中国中高考数学试题构建，包含7000个问答对和12235个TikZ代码的几何图形，涵盖平面几何、立体几何、解析几何、函数和向量几何等多种响应格式。每个实例形成一个{问答对、图像、TikZ}三元组，问答对以LaTeX存储，图像为RGB图形，TikZ则保留几何拓扑、符号注释和关系结构。通过图像到TikZ和多模态推理探测评估代表性的开放和闭源多模态大型语言模型，结果显示出持续存在的细粒度结构和图像-文本对齐挑战。
🔬 方法详解
问题定义：本文旨在解决现有几何推理基准的不足，特别是如何评估多模态大型语言模型在几何结构理解上的能力。现有方法往往依赖于光栅化图形，无法深入探讨模型的推理能力。
核心思路：TriGeoBench的核心思路是构建一个包含丰富几何知识和多样化响应格式的基准，通过问答对和TikZ代码的结合，促进几何推理的研究。这样的设计使得模型不仅要理解问题，还要能够生成准确的几何表示。
技术框架：TriGeoBench的整体架构包括三个主要模块：问答对、几何图像和TikZ代码。每个实例由这三部分组成，确保模型在推理过程中能够同时处理文本和图形信息。
关键创新：TriGeoBench的最大创新在于引入了TikZ代码作为几何图形的表示方式，这种方式保留了几何拓扑和符号注释，能够更好地支持模型的几何推理。与现有方法相比，这种表示方式提供了更丰富的几何信息。
关键设计：在设计中，问答对以LaTeX格式存储，图像为RGB格式，TikZ代码则用于保留几何结构和关系。实验中采用了图像到TikZ的转换和多模态推理探测，评估模型的表现。
🖼️ 关键图片
📊 实验亮点
实验结果显示，代表性的多模态大型语言模型在细粒度结构和图像-文本对齐方面面临挑战。通过与人类策划的参考TikZ进行对比，发现准确的可执行表示能够提供补充的几何线索，尽管未评估端到端转换管道的效果。
🎯 应用场景
TriGeoBench的研究成果可广泛应用于教育领域，特别是在数学教育和评估中，帮助学生和教师更好地理解几何概念。此外，该基准也为多模态大型语言模型的研究提供了新的测试平台，推动几何推理能力的提升。
📄 摘要（原文）
Multimodal Large Language Models show strong vision-language capabilities, yet their geometry-centric reasoning remains insufficiently understood. Existing mathematical benchmarks typically rely on rasterized figures and cover limited geometric knowledge areas and response formats, making it difficult to assess whether models reason over geometric structures or exploit superficial visual patterns. We introduce TriGeoBench, a geometry-centric multimodal benchmark constructed from Chinese middle- and high-school mathematics examinations. TriGeoBench contains 7,000 question-answer pairs and 12,235 geometric figures with TikZ code, spanning plane geometry, solid geometry, analytic geometry, function, and vector geometry across diverse response formats. Each instance forms a {question-answer pair, image, TikZ} triplet: question-answer pairs are stored in LaTeX, images as RGB figures, and TikZ preserves geometric topology, symbolic annotations, and relational structure. We evaluate representative open- and closed-source MLLMs through image-to-TikZ and multimodal reasoning probes. Results reveal persistent fine-grained structure and image-text alignment challenges. Oracle experiments with human-curated reference TikZ suggest that accurate executable representations provide complementary geometric cues; they do not evaluate an end-to-end conversion pipeline. TriGeoBench offers a testbed for structure-aware mathematical reasoning.