Solver-Independent Automated Problem Formulation via LLMs for High-Cost Simulation-Driven Design
作者: Yuchen Li, Handing Wang, Bing Xue, Mengjie Zhang, Yaochu Jin
分类: cs.CL, cs.SE
发布日期: 2025-12-21
💡 一句话要点
APF：基于LLM的求解器无关自动化问题建模框架，用于高成本仿真驱动设计
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自动化问题建模 大型语言模型 仿真驱动设计 高成本优化 数据生成 监督微调 天线设计 自然语言处理
📋 核心要点
- 现有高成本仿真驱动设计中，人工将自然语言需求转化为优化模型耗时且依赖专家知识。
- APF框架通过自动生成高质量数据微调LLM，实现求解器无关的自动化问题建模。
- 实验表明，APF在天线设计中显著提升了需求形式化的准确性和辐射效率曲线质量。
📝 摘要（中文）
在高成本仿真驱动设计领域，将模糊的设计需求转化为数学优化公式是优化产品性能的瓶颈。这个过程耗时且严重依赖专家知识。虽然大型语言模型（LLM）为自动化这项任务提供了潜力，但现有方法要么形式化程度差，无法准确对齐设计意图，要么依赖求解器反馈进行数据过滤，而这在高仿真成本下是不可行的。为了解决这个问题，我们提出了APF，一个基于LLM的求解器无关的自动化问题建模框架，旨在自动将工程师的自然语言需求转换为可执行的优化模型。该框架的核心是一个创新的高质量数据自动生成流程，它借助数据生成和测试实例标注，克服了在高成本求解器反馈缺失的情况下构建合适的微调数据集的困难。生成的高质量数据集用于对LLM进行监督微调，显著增强了它们生成准确且可执行的优化问题公式的能力。在天线设计上的实验结果表明，APF在需求形式化的准确性和满足设计目标的辐射效率曲线质量方面，都显著优于现有方法。
🔬 方法详解
问题定义：论文旨在解决高成本仿真驱动设计中，将工程师的自然语言设计需求转化为可执行的数学优化模型这一难题。现有方法要么形式化程度不足，无法准确捕捉设计意图，要么依赖求解器的反馈进行数据过滤，但在高成本仿真场景下，获取求解器反馈是不切实际的。因此，需要一种无需求解器反馈，能够自动且准确地将自然语言需求转化为优化模型的方法。
核心思路：论文的核心思路是利用大型语言模型（LLM）的强大自然语言理解和生成能力，通过监督微调的方式，使其能够将工程师的自然语言需求转化为可执行的优化问题公式。为了解决缺乏求解器反馈的问题，论文提出了一种创新的高质量数据自动生成流程，用于构建合适的微调数据集。
技术框架：APF框架包含以下主要模块：1) 数据生成模块：负责自动生成包含设计需求和对应优化模型的训练数据。2) 数据标注模块：对生成的数据进行质量评估和标注，筛选出高质量的数据。3) LLM微调模块：使用高质量的训练数据对LLM进行监督微调，提升其问题建模能力。4) 问题建模模块：利用微调后的LLM，将工程师的自然语言需求转化为可执行的优化模型。
关键创新：APF的关键创新在于其求解器无关的数据生成和标注流程。该流程无需依赖高成本的求解器反馈，而是通过数据生成和测试实例标注的方式，自动构建高质量的微调数据集。这使得APF能够在高成本仿真场景下，有效地训练LLM，提升其问题建模能力。与现有方法相比，APF避免了对求解器反馈的依赖，降低了对专家知识的需求，提高了自动化程度。
关键设计：数据生成模块的设计至关重要，需要考虑如何生成多样且具有代表性的设计需求和对应的优化模型。数据标注模块需要设计有效的评估指标和标注策略，以筛选出高质量的数据。LLM微调模块需要选择合适的LLM架构和微调策略，以充分利用生成的数据，提升模型性能。具体的参数设置、损失函数和网络结构等技术细节在论文中可能有所描述，但此处无法详细展开。
🖼️ 关键图片
📊 实验亮点
实验结果表明，APF在天线设计任务中，显著优于现有方法。在需求形式化的准确性和满足设计目标的辐射效率曲线质量方面均有提升。具体性能数据和提升幅度在论文实验部分有详细描述，此处无法提供精确数值。
🎯 应用场景
APF框架可广泛应用于高成本仿真驱动设计领域，例如航空航天、汽车工程、材料科学等。通过自动化问题建模过程，APF可以显著缩短产品设计周期，降低研发成本，并提高产品性能。未来，APF有望与更先进的仿真技术和优化算法相结合，实现更加智能化的产品设计。
📄 摘要（原文）
In the high-cost simulation-driven design domain, translating ambiguous design requirements into a mathematical optimization formulation is a bottleneck for optimizing product performance. This process is time-consuming and heavily reliant on expert knowledge. While large language models (LLMs) offer potential for automating this task, existing approaches either suffer from poor formalization that fails to accurately align with the design intent or rely on solver feedback for data filtering, which is unavailable due to the high simulation costs. To address this challenge, we propose APF, a framework for solver-independent, automated problem formulation via LLMs designed to automatically convert engineers' natural language requirements into executable optimization models. The core of this framework is an innovative pipeline for automatically generating high-quality data, which overcomes the difficulty of constructing suitable fine-tuning datasets in the absence of high-cost solver feedback with the help of data generation and test instance annotation. The generated high-quality dataset is used to perform supervised fine-tuning on LLMs, significantly enhancing their ability to generate accurate and executable optimization problem formulations. Experimental results on antenna design demonstrate that APF significantly outperforms the existing methods in both the accuracy of requirement formalization and the quality of resulting radiation efficiency curves in meeting the design goals.