Fingerprinting Inference Systems of Large Language Models

📄 arXiv: 2605.29979v1 📥 PDF

作者: Anna Wimbauer, Jonas Möller, Erik Imgrund, Konrad Rieck

分类: cs.CR, cs.LG

发布日期: 2026-05-28

💡 一句话要点

提出LLM推理系统指纹识别方法，通过分析LLM的prompt-response行为来识别底层组件。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 推理系统 指纹识别 安全分析 prompt-response分析

📋 核心要点

  1. 现有方法忽略了LLM推理系统组件差异对模型行为的影响，存在安全隐患。
  2. 通过分析LLM的prompt-response行为，提取推理系统组件的特征，实现指纹识别。
  3. 实验证明该方法能可靠识别推理引擎、注意力后端和硬件平台，即使在非零温度下。

📝 摘要（中文）

大型语言模型(LLM)的行为不仅取决于模型本身，推理引擎、注意力后端和硬件平台等推理系统的组件也会微妙地影响输入处理方式。这些组件的实现方式各不相同，因此在运行相同模型时，不同系统之间会产生微小的数值偏差。虽然先前的工作已经证实了这种偏差的理论存在，但其安全影响尚未得到探索。本文表明，这些偏差是特定组件的特征，并传播到可观察的文本输出，从而将推理系统暴露给任何可以查询模型的参与者。基于此，我们提出了一种指纹识别方法，该方法分析LLM的prompt-response行为来识别推理系统的组件。我们的实验评估表明，即使LLM在非零温度下运行，也可以可靠地识别推理引擎、注意力后端和底层硬件平台。我们表明，防止指纹识别从根本上是困难的，因为它需要消除硬件和软件堆栈之间的数值差异。因此，我们提出了部分缓解措施，并讨论了它们的影响。

🔬 方法详解

问题定义：该论文旨在解决LLM推理系统组件的指纹识别问题。现有方法主要关注模型本身，忽略了推理引擎、注意力后端和硬件平台等组件对LLM行为的微妙影响。这些组件的差异会导致数值偏差，进而影响LLM的输出，可能被恶意利用。

核心思路：核心思路是利用LLM的prompt-response行为来提取推理系统组件的特征。不同的推理系统组件在处理相同prompt时会产生细微的数值差异，这些差异会传播到LLM的输出文本中。通过分析这些输出文本的特征，可以识别出底层使用的推理系统组件。这样设计的目的是将推理系统组件的差异转化为可观测的文本特征，从而实现指纹识别。

技术框架：该方法主要包含以下几个阶段：1) Prompt生成：设计一系列prompt，用于触发LLM的推理过程。2) Response收集：收集LLM对这些prompt的响应文本。3) 特征提取：从响应文本中提取特征，这些特征能够反映底层推理系统组件的差异。4) 指纹识别：利用提取的特征训练分类器，用于识别不同的推理系统组件。整体流程是从prompt输入到response输出，再到特征提取和分类识别，形成一个完整的指纹识别流程。

关键创新：最重要的技术创新点在于发现了LLM推理系统组件的差异会传播到输出文本中，并提出了一种基于prompt-response行为的指纹识别方法。与现有方法相比，该方法关注的是推理系统组件而非模型本身，能够更全面地评估LLM系统的安全性。此外，该方法不需要访问模型内部参数，只需要通过prompt-response交互即可实现指纹识别，具有更强的适用性。

关键设计：论文中涉及的关键设计包括：1) Prompt的设计：需要设计能够有效触发推理系统组件差异的prompt。2) 特征的选择：需要选择能够有效区分不同推理系统组件的文本特征。3) 分类器的选择和训练：需要选择合适的分类器，并利用收集到的数据进行训练，以提高指纹识别的准确率。具体的技术细节可能包括使用特定的文本嵌入方法提取特征，以及使用支持向量机或神经网络等分类器进行训练。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，该方法能够可靠地识别推理引擎、注意力后端和底层硬件平台，即使在非零温度下也能保持较高的识别准确率。具体性能数据未知，但论文强调了该方法在不同组件上的有效性，并讨论了缓解指纹识别的措施。

🎯 应用场景

该研究成果可应用于评估LLM系统的安全性，识别恶意使用的推理系统组件，并为LLM的部署和管理提供安全保障。例如，可以用于检测未经授权的硬件平台或推理引擎，防止模型被非法复制或篡改。此外，该研究还可以促进LLM推理系统的标准化和安全加固。

📄 摘要（原文）

The behavior of LLMs does not depend solely on the model itself. Components of the inference system, such as the inference engine, attention backend, and hardware platform, subtly influence how inputs are processed. These components differ in their implementations and thereby induce small numerical deviations across systems when running the same model. While prior work has established the theoretical existence of such deviations, their security implications have remained unexplored. In this paper, we show that these deviations are characteristic of specific components and propagate to observable textual outputs, exposing the inference system to any party that can query the model. Building on this observation, we introduce a fingerprinting method that analyzes the prompt-response behavior of LLMs to identify components of the inference system. Our empirical evaluation demonstrates that the inference engine, attention backend, and underlying hardware platform can be identified reliably, even when the LLM is operated at non-zero temperature. We show that preventing fingerprinting is fundamentally hard, as it would require eliminating numerical differences between hardware and software stacks. We therefore propose partial mitigations and discuss their impact.