LOGIC: An LLM Benchmark for Intent-Grounded Change Impact in Aerospace Electrical Systems

📄 arXiv: 2610.07580v1 📥 PDF

作者: Muhammad Faraz Shoaib, Muhammad Qasim, Raisulhaq Mohammed Rizwan, Rahmatullah Safdar, Muzammil Adnan Shaik, Abdul Aleem Mohammed

分类: cs.AI, cs.CL

发布日期: 2026-10-06

备注: 14 pages, 4 figures, 4 tables

💡 一句话要点

提出LOGIC基准以解决航空电气系统变更影响评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 航空电气系统 变更影响评估 语言模型 结构证据 候选选择

📋 核心要点

  1. 现有方法在航空电气系统的变更影响评估中，容易导致过于宽泛的影响报告，无法有效区分候选选择错误与传播错误。
  2. 论文提出LOGIC基准，通过将请求与确定性候选变更清单相结合，利用语言模型进行本地化部署，从而提高变更影响评估的准确性。
  3. 实验结果显示，使用结构证据的模型在选择案例中达到了1.0000的F1分数，而词汇匹配的F1分数为0.9677，表明LOGIC在准确性上有显著提升。

📝 摘要（中文）

航空电气设计修订可能包含多个真实变更，但工程请求可能仅授权其中一部分。全面传播每个检测到的差异可能导致影响报告过于宽泛。本文提出LOGIC，一个受控基准和评估框架，通过在确定性候选变更清单中将请求进行本地化部署的语言模型进行基础，随后通过类型化电气可追溯图传播所选变更。这种分离允许区分候选选择错误与下游传播错误。LOGIC包含168个场景，包括144个选择案例和24个弃权案例。我们评估了三种7-8B模型与意图无关、词汇和结构证据方法的表现，并设定了一个理想上限。

🔬 方法详解

问题定义：本文旨在解决航空电气系统中变更影响评估的准确性问题。现有方法未能有效区分候选选择错误与传播错误，导致影响报告不够精确。

核心思路：LOGIC基准通过将请求与候选变更清单结合，利用语言模型进行本地化部署，确保在传播变更时能够准确识别和选择相关变更。

技术框架：整体架构包括候选变更清单的生成、请求的本地化处理、以及通过类型化电气可追溯图进行变更传播。主要模块包括候选选择、传播验证和结果评估。

关键创新：LOGIC的核心创新在于将候选选择与传播过程分离，使得可以独立评估每个阶段的准确性，这一设计与现有方法的集成处理方式有本质区别。

关键设计：在模型评估中，采用了严格的证据门控机制以抑制假阳性，同时设置了探索性证据空弃权策略，以提高弃权准确率。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，在96个明确锚定的选择案例中，使用结构证据的模型达到了1.0000的F1分数，而词汇匹配的F1分数为0.9677。在12个关系释义案例中，语言模型的F1分数在0.5000至0.6400之间，显示出LOGIC在不同场景下的优越性。

🎯 应用场景

该研究的潜在应用领域包括航空电气系统的设计与评估，能够为工程师提供更准确的变更影响分析工具，提升设计修订的安全性和可靠性。未来，LOGIC框架可扩展至其他工程领域，推动智能化设计评估的发展。

📄 摘要（原文）

Aerospace electrical-design revisions can contain multiple genuine changes, although an engineering request may authorize only a subset. Propagating every detected difference can therefore produce overly broad impact reports. We present LOGIC, a controlled benchmark and evaluation framework in which locally deployable language models ground a request in a deterministic candidate-change inventory before selected changes are propagated through a typed electrical traceability graph. This separation permits candidate-selection errors to be distinguished from downstream propagation errors. LOGIC contains 168 scenarios, including 144 selection and 24 abstention cases. We evaluate three 7--8B models against intent-agnostic, lexical, and structured-evidence methods, with an oracle-root upper bound. On 96 explicitly anchored selection cases, gate-only structured evidence achieves candidate F1 of 1.0000, compared with 0.9677 for token-lexical matching. On 12 relational-paraphrase cases, token-lexical F1 is 0.1772 and gate-only F1 is 0.0000, compared with 0.5000--0.6400 for the large language models. Model grounding degrades as candidate inventories grow from 4 to 64 changes, while affected-element and typed-path accuracy remain comparatively stable when frozen selections are replayed over graphs of approximately 1K to 100K nodes. Strict evidence gating suppresses false positives but can remove correct semantic selections. An exploratory evidence-empty abstention policy raises strict abstention accuracy to 0.6667 for all three models and reduces unsafe-report rates to 0.1667, while decreasing answerable-case coverage by 16.0--27.1 percentage points. Four of six conflicting requests remain unsafe for each model. These findings support combining literal evidence and language-model reasoning with engineering review when intent cannot be established reliably.