AgentTrace: Execution-Level Fingerprinting of Black-Box LLM Agents

📄 arXiv: 2610.32092v1 📥 PDF

作者: Gejian Zhao, Hanzhou Wu, Xinpeng Zhang

分类: cs.CR, cs.AI

发布日期: 2026-10-23

备注: 10 pages, 4 figures

💡 一句话要点

提出AgentTrace以解决黑箱LLM代理的来源验证问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 黑箱模型 来源验证 马尔可夫链 安全性 执行轨迹 模型区分 主动水印 结构模糊探针

📋 核心要点

  1. 现有的语义归属方法容易受到系统提示的干扰，导致无法有效验证黑箱LLM代理的来源。
  2. 本文提出AgentTrace，通过注入结构模糊的探针，利用执行轨迹识别黑箱代理背后的基础模型。
  3. AgentTrace在对抗身份伪装的情况下实现了96.0%的归属准确率，显著优于传统方法。

📝 摘要（中文）

验证自主LLM代理的来源是一个关键的安全挑战。现有的语义归属方法容易受到系统提示的干扰，而主动水印技术又与工具生成的模式约束相冲突。为此，本文提出了AgentTrace，一个通过可观察的执行轨迹识别黑箱代理背后基础模型的主动框架。AgentTrace注入结构模糊的探针，以触发在严格工具接口上的令牌化敏感序列化失败。这些初始失败提供了模型家族之间的粗略分离，而后续修复操作的时间序列则揭示了细粒度的模型特定恢复行为。通过用轻量级马尔可夫链建模这些多步骤轨迹，AgentTrace在对抗身份伪装的情况下实现了96.0%的归属准确率。关键是，顺序修复建模成功区分了共享相同令牌化器的评估内部变体，显著优于无序行为统计，同时对提示混淆和温度缩放保持鲁棒性。

🔬 方法详解

问题定义：本文旨在解决黑箱LLM代理的来源验证问题。现有方法在面对系统提示时容易被混淆，导致归属准确率低下。

核心思路：AgentTrace的核心思路是通过注入结构模糊的探针，触发令牌化敏感的序列化失败，从而获取模型的执行轨迹。这种设计能够有效区分不同模型的行为特征。

技术框架：AgentTrace的整体架构包括探针注入、执行轨迹捕获和马尔可夫链建模三个主要模块。探针通过触发失败来收集初步数据，随后分析修复过程以获取更细粒度的信息。

关键创新：最重要的技术创新在于顺序修复建模，能够有效区分共享相同令牌化器的模型变体。这一方法显著优于传统的无序行为统计，提升了归属准确率。

关键设计：在设计中，AgentTrace使用轻量级马尔可夫链来建模多步骤轨迹，确保了在对抗身份伪装时的高准确率。此外，系统对提示混淆和温度缩放具有良好的鲁棒性。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，AgentTrace在对抗身份伪装的情况下实现了96.0%的归属准确率，显著优于传统方法。尤其是在区分共享相同令牌化器的模型变体时，表现出色，提升幅度明显。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在安全领域中，能够有效验证自主LLM代理的来源，防止恶意模型的使用。未来，AgentTrace可扩展到其他类型的黑箱模型，提升整体AI系统的安全性和可信度。

📄 摘要（原文）

Verifying the provenance of autonomous LLM agents is a critical security challenge. Existing semantic attribution is easily obfuscated by system prompts, while active watermarking conflicts with schema-constrained tool generation. We propose AgentTrace, an active framework that identifies the foundation model behind a black-box agent via observable execution traces. AgentTrace injects structurally ambiguous probes to trigger tokenization-sensitive serialization failures at rigid tool interfaces. While these initial failures provide coarse-grained separation across model families, the temporal sequence of subsequent repair operations reveals fine-grained, model-specific recovery behaviors. By modeling these multi-step trajectories with lightweight Markov chains, AgentTrace achieves 96.0% attribution accuracy under adversarial identity spoofing. Crucially, sequential repair modeling successfully distinguishes the evaluated intra-family variants sharing identical tokenizers (e.g., Llama-3 8B/70B), substantially outperforming unordered behavioral statistics while remaining robust against prompt obfuscation and temperature scaling.