THEIA: A Multimodal Dataset and Benchmark for Vision-Language Analysis of Layout

📄 arXiv: 2609.35035v1 📥 PDF

作者: Giuseppe Chiari, Michele Piccoli, Federico Viola, Davide Zoni

分类: cs.LG

发布日期: 2026-09-28

备注: 10 pages, 10 figures, 14 tables, to be published in NeurIPS 2026

💡 一句话要点

提出THEIA以解决模拟电路布局分析问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态数据集 视觉语言模型 模拟电路 GDSII文件 电子设计自动化 机器学习 布局分析

📋 核心要点

  1. 现有方法在模拟电路布局分析中缺乏有效的多模态理解，导致设计师在查询和交互时面临困难。
  2. 论文提出THEIA数据集，结合布局图像与问答对话，并利用微调的视觉语言模型进行分析，提升了交互的直观性。
  3. 实验结果显示，微调的VLM在多个任务中性能提升显著，相较于现有通用模型提高了73%，展示了其在特定领域的优势。

📝 摘要（中文）

随着人工智能的引入，计算机辅助设计框架发生了转变，模拟集成电路(IC)的设计从手动和算法基础解决方案转向自动化和智能化的范式。GDSII文件作为行业标准数据库，包含了模拟电路的复杂物理几何和寄生特性。本文提出了THEIA，一个包含成千上万张布局图像和问答对话的全新数据集，并使用经过微调的视觉语言模型(VLM)分析GDSII文件，使设计师能够直观地与物理布局进行交互和查询。实验结果表明，所提出的微调VLM在五个实际任务中显著超越了现有的通用VLM，提升幅度可达73%，突显了通用多模态推理与领域特定布局理解之间的根本差距。

🔬 方法详解

问题定义：本文旨在解决模拟电路布局分析中的多模态理解问题，现有方法在处理GDSII文件时缺乏针对性的推理能力，导致设计师在交互和查询时面临挑战。

核心思路：通过构建THEIA数据集，将布局图像与问答对话结合，利用微调的视觉语言模型(VLM)来提升对电路布局的理解和交互能力。这样的设计使得设计师能够更直观地与复杂的电路布局进行互动。

技术框架：整体架构包括数据集构建、模型训练和评估三个主要阶段。数据集包含布局图像和对应的问答对话，模型则通过对这些数据进行微调来提升其在特定任务上的表现。

关键创新：最重要的技术创新在于提出了一个专门针对模拟电路布局的多模态数据集和相应的分析模型，填补了通用VLM与领域特定需求之间的差距。

关键设计：在模型设计中，采用了特定的损失函数以优化多模态信息的融合，同时在网络结构上进行了调整，以适应电路布局的复杂性和多样性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，经过微调的视觉语言模型在五个实际任务中表现优异，相较于现有的通用模型，性能提升高达73%。这一结果不仅验证了THEIA数据集的有效性，也展示了针对特定领域的模型微调的重要性。

🎯 应用场景

该研究的潜在应用领域包括电子设计自动化(EDA)、集成电路设计和智能制造等。通过提升设计师与电路布局之间的交互能力，THEIA能够加速设计流程，提高设计效率，降低错误率，具有重要的实际价值和未来影响。

📄 摘要（原文）

The integration of artificial intelligence into computer-aided design frameworks has sparked a shift in the design of analog integrated circuits (ICs), transitioning the field from using manual and algorithmic-based solutions to adopting automated and intelligent paradigms. In this scenario, the GDSII file represents the industry-standard database containing the ultimate and most accurate source of information of the analog circuit, encapsulating the complex physical geometries and parasitic realities that define tape out performance. This paper proposes THEIA, a novel dataset containing thousands of layout images paired with question-answer conversations, along with a benchmark that employs a fine-tuned vision-language model (VLM) to analyze GDSII files of analog circuits, enabling designers to interact with and query physical layouts as intuitive, meaningful entities. Experimental results using thousands of analog designs across five realistic tasks demonstrate that the proposed fine-tuned VLM outperforms state-of-the-art general-purpose VLMs by a significant margin (up to 73%), highlighting a fundamental gap between general-purpose multimodal reasoning and domain-specific layout understanding.