Auto-DSM Under the Lens: A Black-Box Evaluation Framework for LLM-Based DSM Generation
作者: Niels Potters, Theo Hofman
分类: cs.AI, cs.AR, cs.CE, eess.SY
发布日期: 2026-07-07
💡 一句话要点
提出黑箱评估框架以评估LLM生成设计结构矩阵能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 设计结构矩阵 黑箱评估 系统工程 自动化生成 评估框架 复合质量评分
📋 核心要点
- 现有的Auto-DSM管道由于闭源特性，缺乏系统性的评估方法，导致生成结果的可靠性难以验证。
- 论文提出了一种黑箱评估框架，通过与手动验证的真实矩阵进行对比，系统性地评估LLM生成DSMs的能力。
- 实验结果表明，LLMs在结构良好的输入下能够生成合理的DSMs，但对模糊性和不一致性仍然敏感，揭示了当前方法的局限性。
📝 摘要（中文）
本文提出了一种黑箱评估框架，系统性地评估大型语言模型（LLMs）从结构化技术文档生成设计结构矩阵（DSMs）的能力。由于现有Auto-DSM管道的闭源特性，该框架引入了一种可重复的方法论，将生成的DSMs（GEN-DSMs）与手动验证的真实矩阵（GT-DSMs）进行基准测试。评估结合了单次运行和多次运行的视角，综合了结构指标（完整性、正确性、耦合密度）、分类指标（选择性准确性、弃权覆盖率）和稳定性度量（熵、Fleiss' κ）。为综合这些方面，提出了复合质量评分（Q）。在两个数据集上进行的控制实验表明，LLMs能够生成结构上合理的DSMs，并在结构良好的输入下实现高重现性，但对模糊性、不一致的依赖定义和提示表述仍然敏感。研究结果揭示了幻觉和弃权失败的系统性来源，展示了LLM驱动的DSMs自动化的潜力与当前局限性。
🔬 方法详解
问题定义：本文旨在解决现有Auto-DSM管道缺乏透明评估机制的问题，尤其是如何验证LLM生成的设计结构矩阵的有效性和可靠性。现有方法往往闭源，难以进行系统性评估。
核心思路：提出的黑箱评估框架通过与手动验证的真实矩阵进行对比，结合多种评估指标，系统性地评估LLM生成的DSMs的质量。这样设计的目的是为了提供一种可重复、透明的评估机制，便于审计和改进Auto-DSM管道。
技术框架：该框架包含多个模块，包括数据准备、生成模型、评估指标计算和结果分析。首先，准备结构化技术文档，然后通过LLM生成DSMs，最后使用一系列指标对生成结果进行评估。
关键创新：最重要的技术创新在于提出了复合质量评分（Q），该评分综合了结构指标、分类指标和稳定性度量，提供了一种全面的评估方式，与现有方法相比，能够更好地反映生成结果的质量。
关键设计：在评估过程中，设置了多个关键参数，包括评估指标的权重、生成模型的输入格式等。此外，采用了熵和Fleiss' κ等稳定性度量，以确保评估结果的可靠性和一致性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在结构良好的输入下，LLMs能够生成结构上合理的DSMs，并在多次运行中表现出高重现性。尽管如此，模型对模糊性和不一致性仍然敏感，揭示了幻觉和弃权失败的系统性来源。这些发现为未来的研究提供了重要的方向。
🎯 应用场景
该研究的潜在应用领域包括模型驱动的系统工程（MBSE）工作流，尤其是在需要从技术文档中提取结构信息的场景中。通过提供透明的评估机制，能够帮助工程师更有效地利用LLM进行设计结构矩阵的自动生成，从而提高工作效率和准确性。
📄 摘要（原文）
This paper presents a black-box evaluation framework to systematically assess the ability of Large Language Models (LLMs) to generate Design Structure Matrices (DSMs) from structured technical documentation. Motivated by the closed-source nature of current Auto-DSM pipelines, the framework introduces a reproducible methodology that benchmarks generated DSMs (GEN-DSMs) against manually validated ground-truth matrices (GT-DSMs). The evaluation integrates both single-run and multi-run perspectives, combining structural metrics (Completeness, Correctness, Coupling Density), classification metrics (Selective Accuracy, Abstention Coverage), and stability measures (Entropy, Fleiss' $κ$). To synthesize these aspects, a Composite Quality Score (Q) is proposed. Controlled experiments are conducted on two datasets: a fictive abstract system and a real-world refrigerator decomposition, covering variations in phrasing, parameter-dataset alignment, and system complexity. Results show that LLMs can produce structurally plausible DSMs and achieve high reproducibility under well-structured inputs, but remain sensitive to ambiguity, inconsistent dependency definitions, and prompt formulation. The findings highlight systematic sources of hallucination and abstention failure, demonstrating both the potential and current limitations of LLM-driven DSM automation. The proposed framework provides a transparent benchmark for auditing Auto-DSM pipelines and establishes foundations for integrating LLM-based decomposition methods into model-based systems engineering (MBSE) workflows.