Assistants, Not Architects: The Role of LLMs in Networked Systems Design

📄 arXiv: 2604.25506v1 📥 PDF

作者: Pratyush Sahu, Rahul Bothra, Venkat Arun, Brighten Godfrey, Akshay Narayan, Ahmed Saeed

分类: cs.NI, cs.AI

发布日期: 2026-04-28

💡 一句话要点

提出Kepler框架，解决LLM在网络系统架构设计中不可靠的问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 网络系统架构设计 大型语言模型 SMT求解器 约束优化 形式化方法 专家知识 可解释性 Kepler框架

📋 核心要点

  1. 大型语言模型（LLM）在网络系统架构设计中表现出不可靠性，无法满足关键约束和编码不正确的假设。
  2. Kepler框架结合了结构化的专家驱动规范和基于SMT的优化，将架构属性编码为约束，并综合出可行的设计。
  3. 实验表明，Kepler能够发现LLM遗漏的交互，并支持系统且可解释的设计探索，提升了设计质量。

📝 摘要（中文）

现代网络系统架构设计需要在硬件、系统和配置选择的巨大组合空间中进行探索，这些选择具有复杂的跨层交互。架构师必须在性能、成本和可部署性等相互竞争的目标之间取得平衡，同时满足兼容性和资源约束，通常依赖于从基准测试、论文、文档和专家经验中获得的零散经验法则。这引出了一个自然的问题：大型语言模型（LLM）能否可靠地执行这种架构推理？我们发现它们不能。虽然LLM产生看似合理的配置，但它们经常遗漏关键约束，编码不正确的假设，并表现出对熟悉模式的“粘性”。一种自然的解决方法——通过模拟或实验进行迭代验证——通常在大规模情况下成本过高，并且在许多情况下是不可行的，尤其是在比较依赖于硬件的替代方案时。鉴于此，我们提出了Kepler，一个用于架构设计的轻量级推理框架，它将结构化的、专家驱动的规范与基于SMT的优化相结合。Kepler将关于系统、硬件和工作负载的架构重要属性（需求、不兼容性和定性权衡）编码为约束，并综合出优化用户定义目标的可行设计。它在抽象层面上运行，捕获“经验法则”而不是详细的系统行为，从而实现可处理的推理，同时保留关键交互，并为其决策提供解释。通过实验和案例研究，我们表明Kepler发现了LLM遗漏的交互，并支持系统的、可解释的设计探索。

🔬 方法详解

问题定义：论文旨在解决在网络系统架构设计中，大型语言模型（LLM）无法可靠地进行架构推理的问题。现有方法依赖于LLM生成配置，但LLM经常忽略关键约束、编码不正确的假设，并且对熟悉的模式存在“粘性”，导致设计不可靠。此外，通过模拟或实验进行迭代验证的成本过高，尤其是在比较硬件相关的替代方案时。

核心思路：论文的核心思路是利用结构化的、专家驱动的规范和基于SMT的优化，构建一个轻量级的推理框架Kepler。Kepler将架构设计中的需求、不兼容性和定性权衡等关键属性编码为约束，然后使用SMT求解器来综合满足这些约束并优化用户定义目标的可行设计。

技术框架：Kepler框架包含以下主要模块：1) 规范模块：允许专家以结构化的方式定义系统、硬件和工作负载的架构属性，包括需求、不兼容性和权衡。2) 约束编码模块：将规范模块中定义的属性编码为SMT求解器可以理解的约束。3) SMT求解器：使用SMT求解器来找到满足所有约束并优化用户定义目标的可行设计。4) 解释模块：为SMT求解器的决策提供解释，帮助用户理解设计选择的原因。

关键创新：Kepler的关键创新在于它将专家知识和形式化方法相结合，克服了LLM在架构设计中的局限性。与LLM不同，Kepler能够保证设计满足所有约束，并提供可解释的决策过程。此外，Kepler在抽象层面上运行，捕获“经验法则”而不是详细的系统行为，从而实现可处理的推理。

关键设计：Kepler的关键设计包括：1) 使用领域特定语言（DSL）来定义架构规范，使得专家可以方便地表达他们的知识。2) 将架构属性编码为SMT约束，利用SMT求解器的强大推理能力。3) 提供解释模块，帮助用户理解设计选择的原因，并进行进一步的优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Kepler能够发现LLM遗漏的关键交互，并生成满足所有约束的可行设计。在案例研究中，Kepler成功地优化了数据中心网络的架构，在满足性能要求的同时降低了成本。与LLM相比，Kepler能够提供更可靠和可解释的设计方案。

🎯 应用场景

Kepler框架可应用于各种网络系统架构设计场景，例如数据中心网络、云计算平台和边缘计算系统。它可以帮助架构师快速探索设计空间，找到满足性能、成本和可部署性等约束的最佳设计，并提供可解释的决策过程，从而提高设计效率和质量。未来，Kepler可以扩展到支持更复杂的架构属性和优化目标。

📄 摘要（原文）

Designing the architecture of modern networked systems requires navigating a large, combinatorial space of hardware, systems, and configuration choices with complex cross-layer interactions. Architects must balance competing objectives such as performance, cost, and deployability while satisfying compatibility and resource constraints, often relying on scattered rules-of-thumb drawn from benchmarks, papers, documentation, and expert experience. This raises a natural question: can large language models (LLMs) reliably perform this kind of architectural reasoning? We find that they cannot. While LLMs produce plausible configurations, they frequently miss critical constraints, encode incorrect assumptions, and exhibit stickiness'' to familiar patterns. A natural workaround--iterative validation via simulation or experimentation--is often prohibitively expensive at scale and, in many cases, infeasible, particularly when comparing hardware-dependent alternatives. Motivated by this gap, we present Kepler, a lightweight reasoning framework for architecture design that combines structured, expert-driven specifications with SMT-based optimization. Kepler encodes architecturally significant properties--requirements, incompatibilities, and qualitative trade-offs--about systems, hardware, and workloads as constraints, and synthesizes feasible designs that optimize user-defined objectives. It operates at an abstract level, capturingrules-of-thumb'' rather than detailed system behavior, enabling tractable reasoning while preserving key interactions, and provides explanations for its decisions. Through experiments and case studies, we show that Kepler uncovers interactions missed by LLMs and supports systematic, explainable design exploration.