LED-BENCH: A Benchmark for Large-format Engineering Drawing Understanding

📄 arXiv: 2610.19571v1 📥 PDF

作者: Ke Li, Tianyi Wang, Enning You, Chaoqun Wan, Zhen Huang, Shuxian Liang, Xian-Sheng Hua

分类: cs.CV

发布日期: 2026-10-14

备注: 15 pages,5 figures,10 tables

💡 一句话要点

提出LED-BENCH以解决大格式工程图理解的挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 工程图理解 多模态模型 复杂推理 大格式图像 基准评估

📋 核心要点

  1. 现有的工程图理解基准主要集中在局部区域和特定元素，缺乏对大格式工程图的系统评估。
  2. LED-BENCH通过设计一个多学科基准，旨在评估大格式工程图的细致理解和复杂推理能力。
  3. 对11个多模态模型的评估结果显示，模型在不同工程领域的表现差异显著，整体准确率为52.65%。

📝 摘要（中文）

现实世界中的工程图通常是大格式且信息密集的。回答实际工程问题需要对工程信息的细致理解以及对分布在不同区域或视图中的对象、关系和证据进行复杂推理。现有基准涵盖了多种工程图理解任务，但对现实大格式工程图的系统评估仍然有限。为填补这一空白，本文提出了LED-BENCH，这是一个多学科基准，旨在评估大格式工程图的细致理解和复杂推理。对11个代表性多模态大语言模型的广泛评估显示，当前模型在需要更广泛证据整合的问题上表现较差，强调了在大格式工程图上进行细致理解和复杂推理的持续挑战。

🔬 方法详解

问题定义：本文旨在解决对大格式工程图的理解和推理能力不足的问题。现有方法在处理复杂的工程信息和证据整合时存在显著挑战。

核心思路：LED-BENCH基准通过多学科视角，评估模型在大格式工程图上的细致理解和复杂推理能力，强调了对不同领域的适应性。

技术框架：该基准涵盖机械、建筑和交通等多个领域，评估流程包括数据收集、模型训练和性能评估，确保全面性和代表性。

关键创新：LED-BENCH的最大创新在于其多学科整合的评估框架，能够系统性地测试模型在复杂工程图上的推理能力，与现有方法相比具有更高的挑战性。

关键设计：在实验中，使用了11个多模态大语言模型，设计了多样化的问题类型，特别关注需要广泛证据整合的任务，以评估模型的综合能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GPT-5.6 Sol模型在LED-BENCH上的平均准确率为52.65%。不同工程领域的表现差异明显，所有评估模型在需要更广泛证据整合的问题上均表现较差，突显了当前多模态模型在此类任务中的挑战。

🎯 应用场景

该研究的潜在应用领域包括工程设计、建筑规划和交通系统分析等。通过提升对大格式工程图的理解能力，LED-BENCH可以帮助工程师和设计师更高效地解决复杂问题，推动相关领域的技术进步和创新。未来，该基准可能成为工程图理解领域的标准评估工具。

📄 摘要（原文）

Real-world engineering drawings are often large-format and information-dense. Answering practical engineering questions therefore requires both fine-grained understanding of engineering information and complex reasoning over objects, relations, and evidence distributed across different regions or views. Existing benchmarks cover a range of engineering-drawing understanding tasks involving local regions, individual views, specific elements, or more constrained visual settings. However, systematic evaluation of understanding over realistic, large-format engineering drawings remains limited. To address this gap, we introduce LED-BENCH, a multidisciplinary benchmark designed to evaluate fine-grained understanding and complex reasoning over large-format engineering drawings, spanning the mechanical, architectural, and transportation domains. Extensive evaluation of 11 representative multimodal large language models, including 8 proprietary models and 3 open-source models, reveals substantial remaining difficulty: GPT-5.6 Sol achieves 52.65% average accuracy, performance varies across engineering domains, and all evaluated models perform worse on questions requiring broader evidence integration. These results highlight fine-grained understanding, evidence integration, and complex reasoning over large-format engineering drawings as persistent challenges for current multimodal models.