Rethinking Testing for LLM Applications: Characteristics, Challenges, and a Lightweight Interaction Protocol

📄 arXiv: 2508.20737v1 📥 PDF

作者: Wei Ma, Yixiao Yang, Qiang Hu, Shi Ying, Zhi Jin, Bo Du, Zhenchang Xing, Tianlin Li, Junjie Shi, Yang Liu, Linxiao Jiang

分类: cs.SE, cs.AI

发布日期: 2025-08-28

💡 一句话要点

针对LLM应用测试，提出分层架构分析与轻量级交互协议AICL

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM应用测试 分层架构 软件测试 AI测试 质量保证 AICL协议 代理交互 运行时监控

📋 核心要点

  1. LLM应用测试面临非确定性、动态性和上下文依赖性带来的挑战，传统软件测试方法难以直接应用。
  2. 论文提出三层架构分解LLM应用，并针对每层特点采用不同的测试策略，实现更有效的质量保证。
  3. 论文设计了Agent Interaction Communication Language (AICL) 协议，旨在标准化和工具化LLM应用测试。

📝 摘要（中文）

大型语言模型（LLM）的应用已经从简单的文本生成器发展成为复杂的软件系统，集成了检索增强、工具调用和多轮交互。其固有的非确定性、动态性和上下文依赖性对质量保证提出了根本性的挑战。本文将LLM应用分解为三层架构：系统外壳层、提示编排层和LLM推理核心。然后，我们评估了传统软件测试方法在每一层中的适用性：直接适用于外壳层，需要在编排层进行语义重新解释，并且需要在推理核心进行范式转变。对软件工程社区的AI测试方法和AI社区的安全分析技术进行比较分析，揭示了测试单元抽象、评估指标和生命周期管理方面的结构性脱节。我们确定了构成6个核心挑战的四个基本差异。为了解决这些问题，我们提出了四种类型的协作策略（保留、翻译、集成和运行时），并探索了一个闭环、可信的质量保证框架，该框架结合了预部署验证和运行时监控。基于这些策略，我们提供了实用的指导和一个协议提案，以支持LLM应用测试的标准化和工具化。我们提出了一个协议Agent Interaction Communication Language（AICL），用于在AI代理之间进行通信。AICL具有面向测试的特性，并且易于集成到当前的代理框架中。

🔬 方法详解

问题定义：LLM应用测试面临着传统软件测试方法难以适应的挑战，例如非确定性、动态性和上下文依赖性。现有方法在测试单元抽象、评估指标和生命周期管理方面存在结构性脱节，导致测试效率低下，难以保证LLM应用的质量。

核心思路：论文的核心思路是将LLM应用分解为三层架构：系统外壳层、提示编排层和LLM推理核心。针对每一层的特点，采用不同的测试策略。对于系统外壳层，可以直接应用传统软件测试方法；对于提示编排层，需要进行语义重新解释；对于LLM推理核心，则需要进行范式转变。通过分层测试，可以更有效地定位和解决LLM应用中的问题。

技术框架：论文提出的测试框架包含以下几个主要模块：1) LLM应用分层架构分析；2) 传统软件测试方法适用性评估；3) AI测试方法与安全分析技术比较分析；4) 协作策略设计（保留、翻译、集成和运行时）；5) 闭环、可信的质量保证框架构建（预部署验证+运行时监控）；6) Agent Interaction Communication Language (AICL) 协议设计。

关键创新：论文的关键创新在于：1) 提出了LLM应用的三层架构，为分层测试提供了理论基础；2) 设计了Agent Interaction Communication Language (AICL) 协议，旨在标准化和工具化LLM应用测试，方便不同AI agent之间的通信和协作；3) 提出了四种协作策略，为不同层次的测试提供了具体的方法指导。

关键设计：AICL协议的设计考虑了测试导向的特性，使其易于集成到现有的agent框架中。具体的协议细节（例如消息格式、通信机制等）在论文中未详细描述，属于未知信息。论文重点强调了AICL在标准化和工具化LLM应用测试方面的作用。

📊 实验亮点

论文提出了LLM应用的三层架构，并针对每一层提出了相应的测试策略。此外，论文还设计了Agent Interaction Communication Language (AICL) 协议，旨在标准化和工具化LLM应用测试。具体的实验结果和性能数据在摘要中未提及，属于未知信息。

🎯 应用场景

该研究成果可应用于各种基于LLM的软件系统，例如智能客服、聊天机器人、内容生成工具等。通过提高LLM应用的质量和可靠性，可以提升用户体验，降低潜在风险，并加速LLM技术在各行业的应用。

📄 摘要（原文）

Applications of Large Language Models~(LLMs) have evolved from simple text generators into complex software systems that integrate retrieval augmentation, tool invocation, and multi-turn interactions. Their inherent non-determinism, dynamism, and context dependence pose fundamental challenges for quality assurance. This paper decomposes LLM applications into a three-layer architecture: \textbf{\textit{System Shell Layer}}, \textbf{\textit{Prompt Orchestration Layer}}, and \textbf{\textit{LLM Inference Core}}. We then assess the applicability of traditional software testing methods in each layer: directly applicable at the shell layer, requiring semantic reinterpretation at the orchestration layer, and necessitating paradigm shifts at the inference core. A comparative analysis of Testing AI methods from the software engineering community and safety analysis techniques from the AI community reveals structural disconnects in testing unit abstraction, evaluation metrics, and lifecycle management. We identify four fundamental differences that underlie 6 core challenges. To address these, we propose four types of collaborative strategies (\emph{Retain}, \emph{Translate}, \emph{Integrate}, and \emph{Runtime}) and explore a closed-loop, trustworthy quality assurance framework that combines pre-deployment validation with runtime monitoring. Based on these strategies, we offer practical guidance and a protocol proposal to support the standardization and tooling of LLM application testing. We propose a protocol \textbf{\textit{Agent Interaction Communication Language}} (AICL) that is used to communicate between AI agents. AICL has the test-oriented features and is easily integrated in the current agent framework.