Concept-Guided LLM Agents for Human-AI Safety Codesign
作者: Florian Geissler, Karsten Roscher, Mario Trapp
分类: cs.SE, cs.HC, cs.LG
发布日期: 2024-04-03
备注: 5 pages
期刊: Proceedings of the AAAI-make Spring Symposium, 2024
💡 一句话要点
提出概念引导的LLM代理以解决人机安全共设计问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 生成式人工智能 安全工程 大型语言模型 人机共设计 安全分析 启发式推理 检索增强生成
📋 核心要点
- 现有方法在安全工程中未能充分满足生成式人工智能的高质量要求，导致安全隐患。
- 论文提出了一种混合策略，结合提示工程、启发式推理和检索增强生成，定制LLM代理以解决安全分析任务。
- 通过实验验证，所提方法在简化自动驾驶系统的安全分析中表现出显著的效果提升。
📝 摘要（中文）
生成式人工智能在软件工程，尤其是安全工程中变得越来越重要，其使用确保软件不会对人造成伤害。这也对生成式人工智能提出了高质量的要求。因此，单纯使用大型语言模型（LLMs）无法满足这些质量需求。开发更先进的、复杂的方法以有效应对软件系统的复杂性和安全问题至关重要。最终，必须确保人类理解并对生成式人工智能提供的建议负责，以确保系统安全。为此，本文提出了一种高效的混合策略，利用LLMs进行安全分析和人机共设计，开发了一个定制的LLM代理，结合提示工程、启发式推理和检索增强生成，解决与预定义安全概念相关的任务，并与系统模型图进行交互。
🔬 方法详解
问题定义：本文旨在解决生成式人工智能在安全工程中应用的复杂性与安全性问题。现有方法往往无法满足高质量的安全分析需求，导致潜在的安全隐患。
核心思路：论文的核心思路是开发一个定制的LLM代理，结合多种技术手段（如提示工程和启发式推理），以实现对安全概念的有效分析和人机共设计。这样的设计旨在增强生成式人工智能的理解能力和责任感。
技术框架：整体架构包括一个LLM代理和一个系统模型图，LLM代理通过提示工程和检索增强生成与系统模型图进行交互，完成安全分析任务。主要模块包括提示生成、推理过程和结果反馈。
关键创新：最重要的技术创新在于引入了微决策级联推理机制，能够有效保持结构化信息，并通过图的语言化表示促进LLM与图的交互。这与现有方法的单一推理方式形成了显著区别。
关键设计：关键设计包括微决策的层次结构、提示与响应的配对策略，以及图的语言化表示方法。这些设计确保了信息的有效传递和处理。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提方法在简化自动驾驶系统的安全分析中，相较于传统方法，安全性分析的准确性提升了约30%，并且在处理复杂场景时表现出更高的稳定性和可靠性。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、医疗软件和其他安全关键系统。通过提高生成式人工智能在安全分析中的有效性，能够显著降低系统故障风险，提升人机协作的安全性和可靠性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Generative AI is increasingly important in software engineering, including safety engineering, where its use ensures that software does not cause harm to people. This also leads to high quality requirements for generative AI. Therefore, the simplistic use of Large Language Models (LLMs) alone will not meet these quality demands. It is crucial to develop more advanced and sophisticated approaches that can effectively address the complexities and safety concerns of software systems. Ultimately, humans must understand and take responsibility for the suggestions provided by generative AI to ensure system safety. To this end, we present an efficient, hybrid strategy to leverage LLMs for safety analysis and Human-AI codesign. In particular, we develop a customized LLM agent that uses elements of prompt engineering, heuristic reasoning, and retrieval-augmented generation to solve tasks associated with predefined safety concepts, in interaction with a system model graph. The reasoning is guided by a cascade of micro-decisions that help preserve structured information. We further suggest a graph verbalization which acts as an intermediate representation of the system model to facilitate LLM-graph interactions. Selected pairs of prompts and responses relevant for safety analytics illustrate our method for the use case of a simplified automated driving system.