Capturing Semantic Flow of ML-based Systems
作者: Shin Yoo, Robert Feldt, Somin Kim, Naryeong Kim
分类: cs.SE, cs.LG
发布日期: 2025-03-13
💡 一句话要点
提出语义流，用于捕获和分析基于机器学习系统的内部行为
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语义流 动态分析 机器学习系统 深度神经网络 大型语言模型 内部状态 控制流 软件测试
📋 核心要点
- 传统动态分析方法难以有效分析基于机器学习系统的内部行为，因为其内部决策过程复杂且不透明。
- 论文提出语义流的概念，结合控制流和系统内部状态（如激活值、嵌入），构建语义流图以捕获内部决策。
- 通过DNN和LLM代理的示例展示了语义流的应用，并探讨了如何利用语义流改进现有动态分析技术。
📝 摘要（中文）
基于机器学习的系统，如包含深度神经网络（DNN）或大型语言模型（LLM）的系统，实现了高性能计算机视觉、自然语言处理和代码生成等高级功能。然而，这些系统的内部行为对于传统的动态分析（如测试）来说仍然很大程度上是不透明的：现有的分析通常只关注外部可观察的内容，例如输入相似性或类标签变化。我们提出了语义流的概念，旨在捕获基于机器学习系统的内部行为，并为传统动态分析技术提供一个适应平台。语义流将控制流的思想与来自基于机器学习系统执行的内部状态相结合，例如DNN中特定层的激活值，或LLM代理在特定推理步骤中的LLM响应嵌入。由此产生的表示，总结为语义流图，可以捕获传统控制流中未明确表示的内部决策。我们提出了语义流的思想，介绍了使用DNN和LLM代理的两个例子，最后概述了它的属性以及如何使用它来调整现有的动态分析技术，以便在基于机器学习的软件系统中使用。
🔬 方法详解
问题定义：现有动态分析技术在分析基于机器学习的系统时面临挑战，因为这些系统的内部行为（例如DNN的中间层激活或LLM的嵌入）对外部观察者来说是不透明的。传统的测试方法主要关注输入输出的相似性或类标签的变化，无法深入理解系统内部的决策过程。因此，需要一种能够捕获和表示机器学习系统内部语义信息的分析方法。
核心思路：论文的核心思路是将传统的控制流分析与机器学习系统的内部状态相结合，形成“语义流”的概念。通过提取系统执行过程中的内部状态（如DNN的激活值或LLM的嵌入），并将其与控制流信息关联起来，可以构建一个更全面的系统行为表示。这种表示能够揭示传统控制流分析无法捕捉的内部决策过程。
技术框架：语义流分析框架主要包含以下几个阶段：1) 系统执行：运行基于机器学习的系统，并记录执行过程中的控制流信息。2) 内部状态提取：在系统执行过程中，提取关键层的内部状态信息，例如DNN的激活值或LLM的嵌入。3) 语义流图构建：将控制流信息和内部状态信息结合起来，构建语义流图。图中的节点表示控制流中的基本块，边表示控制流的转移，节点或边上的属性则包含提取的内部状态信息。4) 分析与应用：利用构建的语义流图进行各种动态分析，例如测试、调试和验证。
关键创新：该方法最重要的创新点在于将机器学习系统的内部状态纳入到动态分析中。与传统的只关注输入输出的分析方法相比，语义流能够更深入地理解系统的内部决策过程，从而提高分析的准确性和有效性。它弥补了传统控制流分析在处理基于机器学习系统时的不足。
关键设计：关键设计包括：1) 内部状态的选择：选择哪些内部状态进行提取，例如DNN的哪些层，LLM的哪些嵌入。这需要根据具体的系统和分析目标进行选择。2) 语义流图的表示：如何有效地表示语义流图，包括节点和边的属性设计。3) 分析算法的设计：如何利用语义流图进行各种动态分析，例如测试用例生成、缺陷定位等。具体参数设置和网络结构取决于所分析的ML系统。
🖼️ 关键图片
📊 实验亮点
论文通过DNN和LLM代理的示例展示了语义流的应用。虽然没有提供具体的性能数据，但概念验证表明语义流能够捕获传统控制流分析无法捕捉的内部决策过程。例如，在DNN示例中，语义流可以揭示不同激活值对最终分类结果的影响；在LLM代理示例中，语义流可以跟踪不同推理步骤中的嵌入变化。这些示例验证了语义流作为一种新的动态分析方法的潜力。
🎯 应用场景
语义流分析方法可应用于多种基于机器学习的软件系统，例如自动驾驶、医疗诊断和金融风控等。通过更深入地理解这些系统的内部行为，可以提高其可靠性、安全性和可解释性，从而促进人工智能技术在关键领域的应用。该方法还有助于开发更有效的测试和调试工具，加速基于机器学习软件的开发和部署。
📄 摘要（原文）
ML-based systems are software systems that incorporates machine learning components such as Deep Neural Networks (DNNs) or Large Language Models (LLMs). While such systems enable advanced features such as high performance computer vision, natural language processing, and code generation, their internal behaviour remain largely opaque to traditional dynamic analysis such as testing: existing analysis typically concern only what is observable from the outside, such as input similarity or class label changes. We propose semantic flow, a concept designed to capture the internal behaviour of ML-based system and to provide a platform for traditional dynamic analysis techniques to be adapted to. Semantic flow combines the idea of control flow with internal states taken from executions of ML-based systems, such as activation values of a specific layer in a DNN, or embeddings of LLM responses at a specific inference step of LLM agents. The resulting representation, summarised as semantic flow graphs, can capture internal decisions that are not explicitly represented in the traditional control flow of ML-based systems. We propose the idea of semantic flow, introduce two examples using a DNN and an LLM agent, and finally sketch its properties and how it can be used to adapt existing dynamic analysis techniques for use in ML-based software systems.