How to Build AI Agents by Augmenting LLMs with Codified Human Expert Domain Knowledge? A Software Engineering Framework

📄 arXiv: 2601.15153v1 📥 PDF

作者: Choro Ulan uulu, Mikhail Kulyabin, Iris Fuhrmann, Jan Joosten, Nuno Miguel Martins Pacheco, Filippos Petridis, Rebecca Johnson, Jan Bosch, Helena Holmström Olsson

分类: cs.AI

发布日期: 2026-01-21

💡 一句话要点

提出一种软件工程框架，通过增强LLM实现领域专家知识驱动的AI Agent构建

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: AI Agent 大型语言模型 领域知识 知识工程 数据可视化 检索增强生成 专家系统

📋 核心要点

  1. 领域专家知识稀缺导致组织瓶颈，非专家可视化能力不足，论文旨在解决领域知识有效迁移和利用的难题。
  2. 核心思想是通过软件工程框架，将领域专家的知识编码并融入到LLM驱动的AI Agent中，实现知识自动化。
  3. 实验表明，该方法在多个工程领域将输出质量提升206%，Agent达到专家水平，同时保持代码质量和低方差。

📝 摘要（中文）

领域知识通常掌握在少数专家手中，导致组织在可扩展性和决策方面存在瓶颈。非专业人员难以创建有效的可视化，导致次优的洞察力并占用专家时间。本文通过一个工业案例研究，探讨如何捕获和嵌入人类领域知识到AI Agent系统中。我们提出了一个软件工程框架，用于捕获人类领域知识，以工程化仿真数据可视化中的AI Agent。该框架通过使用请求分类器、检索增强生成（RAG）系统进行代码生成、编纂的专家规则以及统一在Agent中的可视化设计原则来增强大型语言模型（LLM），从而展示自主、反应、主动和社交行为。在跨越多个工程领域的五个场景中，对12名评估者的评估表明，输出质量提高了206％，我们的Agent在所有情况下均达到了专家级别的评分，而基线的表现较差，同时保持了卓越的代码质量和较低的方差。我们的贡献是：一个用于可视化生成的自动化Agent系统，以及一个经过验证的框架，用于系统地捕获人类领域知识并将隐性专家知识编纂到AI Agent中，证明了非专业人员可以在专业领域中获得专家级别的成果。

🔬 方法详解

问题定义：论文旨在解决非领域专家在数据可视化方面能力不足，以及领域专家知识难以有效传递和复用的问题。现有方法依赖人工或简单的自动化工具，无法充分利用领域专家的隐性知识，导致可视化效果不佳，影响决策效率。

核心思路：核心思路是将领域专家的知识进行显式化编码，并利用大型语言模型（LLM）的强大生成能力，构建一个能够自主生成高质量可视化的AI Agent。通过将专家知识融入到LLM中，使得非专家也能获得专家级别的可视化结果。

技术框架：该框架包含以下主要模块：1) 请求分类器：用于理解用户请求的意图；2) 检索增强生成（RAG）系统：从知识库中检索相关的代码片段和可视化设计原则；3) 专家规则引擎：应用预定义的专家规则来优化可视化设计；4) LLM驱动的代码生成器：根据检索到的信息和专家规则生成可视化代码。整体流程是：用户输入请求，请求分类器解析意图，RAG系统检索相关知识，专家规则引擎进行优化，LLM生成代码，最终呈现可视化结果。

关键创新：关键创新在于将领域专家的隐性知识显式化，并将其与LLM的生成能力相结合。通过这种方式，Agent不仅能够生成代码，还能理解领域知识，并根据这些知识进行优化，从而生成更符合专家要求的可视化结果。与现有方法相比，该方法能够更好地利用领域专家的知识，提高可视化质量和效率。

关键设计：论文中未明确给出关键参数设置、损失函数、网络结构等具体技术细节。但可以推断，RAG系统的检索策略、专家规则的定义、以及LLM的prompt设计是影响Agent性能的关键因素。未来的研究可以进一步探索这些方面的优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在五个工程领域场景中，将可视化输出质量提升了206%，Agent达到了专家级别的评分，而基线方法表现较差。同时，该方法保持了卓越的代码质量和较低的方差，证明了其稳定性和可靠性。这些结果表明，该方法能够有效地将领域专家知识融入AI Agent，并显著提高可视化效果。

🎯 应用场景

该研究成果可广泛应用于需要数据可视化的领域，如工程设计、金融分析、医疗诊断等。通过将领域专家知识融入AI Agent，可以降低可视化门槛，提高决策效率，并促进知识的传承和复用。未来，该方法有望应用于更复杂的领域，实现更高级别的自动化和智能化。

📄 摘要（原文）

Critical domain knowledge typically resides with few experts, creating organizational bottlenecks in scalability and decision-making. Non-experts struggle to create effective visualizations, leading to suboptimal insights and diverting expert time. This paper investigates how to capture and embed human domain knowledge into AI agent systems through an industrial case study. We propose a software engineering framework to capture human domain knowledge for engineering AI agents in simulation data visualization by augmenting a Large Language Model (LLM) with a request classifier, Retrieval-Augmented Generation (RAG) system for code generation, codified expert rules, and visualization design principles unified in an agent demonstrating autonomous, reactive, proactive, and social behavior. Evaluation across five scenarios spanning multiple engineering domains with 12 evaluators demonstrates 206% improvement in output quality, with our agent achieving expert-level ratings in all cases versus baseline's poor performance, while maintaining superior code quality with lower variance. Our contributions are: an automated agent-based system for visualization generation and a validated framework for systematically capturing human domain knowledge and codifying tacit expert knowledge into AI agents, demonstrating that non-experts can achieve expert-level outcomes in specialized domains.