Circuit-MLLM: Topological Logic-Guided Latent-Space Visual Reasoning for Circuit Schematic Understanding

📄 arXiv: 2609.15668v1 📥 PDF

作者: Jinyuan Deng, Yuqi Jiang, Wenjing Huang, Xin Li, Qi Sun, Cheng Zhuo

分类: cs.CV, cs.AI, cs.LG

发布日期: 2026-09-14

备注: Accepted at European Conference on Computer Vision (ECCV) 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出Circuit-MLLM以解决电路原理图理解问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 电路理解 多模态学习 拓扑推理 潜在空间 知识挖掘 机器学习 视觉推理

📋 核心要点

  1. 电路原理图的密集布局和复杂拓扑逻辑使得现有的多模态大型语言模型难以有效解析其电气语义。
  2. 本文提出Circuit-MLLM，通过设备定位、路径追踪和潜在空间中的顺序推理来分析电路拓扑，提升理解能力。
  3. 实验结果显示，Circuit-MLLM在电路分析任务中超越了强基线，平均得分比GPT-5.1高出25%，验证了其有效性。

📝 摘要（中文）

当前的多模态大型语言模型（MLLMs）在一般任务上表现出色，但电路原理图由于其密集的组件布局和独特的拓扑逻辑，对MLLMs提出了挑战。为此，本文提出Circuit-MLLM，一个多模态推理框架，将电路拓扑分析重构为设备定位、路径追踪和潜在空间中的顺序推理过程。我们引入了一种电路知识挖掘机制，使模型的潜在表示与多粒度电路视觉专家提取的结构丰富特征深度对齐，从而有效内化拓扑语义。基于这些内化的语义，我们设计了一种拓扑引导的序列策略，沿电路的拓扑逻辑进行逐步推理。实验结果表明，Circuit-MLLM在多种电路分析任务中表现优异，平均得分比GPT-5.1高出25%。

🔬 方法详解

问题定义：本文旨在解决电路原理图理解中的电气语义提取问题。现有的多模态大型语言模型在处理电路的密集布局和复杂拓扑逻辑时存在不足，难以进行细粒度的结构解析。

核心思路：Circuit-MLLM通过将电路拓扑分析视为设备定位、路径追踪和潜在空间中的顺序推理过程，来有效提取电路的拓扑语义。这种设计使得模型能够更好地理解电路的结构和功能。

技术框架：该框架包括多个主要模块：电路知识挖掘机制、潜在空间表示、拓扑引导的推理策略等。首先，通过电路知识挖掘机制，模型与多粒度电路视觉专家的特征深度对齐；然后，在潜在空间中进行推理，最后通过拓扑引导策略进行逐步推理。

关键创新：最重要的创新在于引入了电路知识挖掘机制和拓扑引导的推理策略。这些创新使得模型能够在潜在空间中有效地内化电路的拓扑语义，区别于传统的基于光栅扫描的推理方法。

关键设计：在模型设计中，采用了特定的损失函数以优化潜在表示的对齐程度，并设计了适应电路特性的网络结构，以增强模型对电路拓扑的理解能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Circuit-MLLM在多种电路分析任务中表现优异，平均得分比强基线GPT-5.1高出25%。这一显著提升验证了该框架在电路原理图拓扑分析中的有效性，为电路理解提供了新的思路。

🎯 应用场景

该研究的潜在应用领域包括电路设计自动化、故障检测与诊断、以及电路教育等。通过提升电路原理图的理解能力，Circuit-MLLM能够为工程师和学生提供更高效的工具，促进电路相关领域的发展。未来，该技术可能在智能制造和自动化系统中发挥重要作用。

📄 摘要（原文）

Through pre-training on extensive text and image datasets, current multi-modal large language models (MLLMs) achieve strong performance on general tasks. However, circuit schematics present a unique challenge for MLLMs due to their dense component layouts and distinct topological logic, demanding fine-grained structural parsing to extract the electrical semantics. To address this, we propose Circuit-MLLM, a multimodal reasoning framework that reformulates circuit topology analysis as a process of device localization, path tracing, and sequential reasoning within the latent space. We introduce a circuit knowledge mining mechanism that deeply aligns the model's latent representations with structurally rich features derived from multi-granularity circuit vision experts, enabling the model to effectively internalize topological semantics. Building upon these internalized semantics, we devise a topology-guided sequencing strategy that decouples reasoning from the rigid raster-scan order, enforcing stepwise inference along the circuit's topological logic in latent space. Across diverse circuit analysis tasks, Circuit-MLLM consistently outperforms strong baselines, notably achieving a 25% higher average score than GPT-5.1, which demonstrates the effectiveness of our framework in circuit schematic topology analysis. Code is publicly available at https://github.com/IC-Yuan/Circuit-MLLM.