LCGuard: Latent Communication Guard for Safe KV Sharing in Multi-Agent Systems

📄 arXiv: 2605.22786v1 📥 PDF

作者: Sadia Asif, Mohammad Mohammadi Amiri, Momin Abbas, Prasanna Sattigeri, Karthikeyan Natesan Ramamurthy

分类: cs.AI, cs.ET, cs.LG, cs.MA

发布日期: 2026-05-21

💡 一句话要点

提出LCGuard，保障多智能体系统中基于KV缓存的隐式通信安全

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体系统 隐式通信 KV缓存 信息安全 对抗性训练

📋 核心要点

  1. 多智能体系统通过KV缓存进行隐式通信，虽然高效，但存在敏感信息泄露的风险。
  2. LCGuard通过学习表示级别的转换，在共享KV缓存前对信息进行处理，降低敏感信息的可重构性。
  3. 实验表明，LCGuard能有效降低信息泄露和攻击成功率，同时保持任务性能。

📝 摘要（中文）

基于大型语言模型（LLM）的多智能体系统越来越多地依赖中间通信来协调复杂任务。虽然现有系统大多通过自然语言通信，但最近的研究表明，隐式通信，特别是通过Transformer的键值（KV）缓存，可以提高效率并保留更丰富的任务相关信息。然而，KV缓存也编码了上下文输入、中间推理状态和智能体特定的信息，从而创建了一个不透明的通道，敏感内容可能在没有明确文本披露的情况下在智能体之间传播。为了解决这个问题，我们引入了LCGuard（隐式通信守卫），一个用于多智能体LLM系统中安全KV缓存隐式通信的框架。LCGuard将共享的KV缓存视为隐式工作记忆，并在缓存工件在智能体之间传输之前学习表示级别的转换。我们通过重构操作正式化表示级别的敏感信息泄露：如果对抗性解码器可以从共享的缓存工件中恢复智能体特定的敏感输入，则该工件是不安全的。这导致了一种对抗性训练公式，其中对抗者学习重构敏感输入，而LCGuard学习保留任务相关语义并减少可重构信息。跨多个模型系列和多智能体基准的实证评估表明，与标准KV共享基线相比，LCGuard始终降低了基于重构的泄露和攻击成功率，同时保持了具有竞争力的任务性能。

🔬 方法详解

问题定义：论文旨在解决多智能体系统中，基于Transformer KV缓存进行隐式通信时，存在的敏感信息泄露问题。现有方法主要依赖自然语言通信，效率较低，而直接共享KV缓存则可能暴露智能体私有信息，例如上下文输入、推理状态等。因此，如何在保证通信效率的同时，防止敏感信息泄露是本研究要解决的核心问题。

核心思路：论文的核心思路是将共享的KV缓存视为一种隐式工作记忆，并学习一种表示级别的转换，在缓存工件传输给其他智能体之前，对缓存内容进行处理。这种转换旨在保留任务相关的语义信息，同时降低敏感信息的可重构性。通过这种方式，LCGuard试图在通信效率和信息安全之间取得平衡。

技术框架：LCGuard的整体框架包含以下几个主要模块：1) 原始KV缓存生成模块：智能体根据自身输入生成KV缓存。2) 表示转换模块：LCGuard的核心模块，学习对KV缓存进行表示级别的转换，降低敏感信息的可重构性。3) 共享KV缓存模块：转换后的KV缓存被共享给其他智能体。4) 对抗性解码器：用于评估信息泄露风险，通过尝试从共享的KV缓存中重构敏感信息来衡量安全性。

关键创新：LCGuard的关键创新在于其将信息泄露问题形式化为重构问题，并采用对抗性训练的方式来学习表示转换。与传统的安全通信方法不同，LCGuard不依赖于显式的加密或信息过滤，而是通过学习一种隐式的表示转换来保护敏感信息。这种方法更加灵活，并且能够适应不同的任务和模型。

关键设计：LCGuard的关键设计包括：1) 对抗性损失函数：用于训练表示转换模块，鼓励其降低敏感信息的可重构性。该损失函数基于对抗性解码器的重构误差。2) 任务保持损失函数：用于确保表示转换不会损害任务性能。该损失函数基于原始KV缓存和转换后KV缓存的任务相关语义相似度。3) 表示转换网络结构：可以使用各种神经网络结构，例如Transformer或MLP，来学习表示转换。具体的网络结构和参数设置需要根据具体的任务和模型进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LCGuard在多个多智能体基准测试中，能够显著降低基于重构的泄露和攻击成功率，同时保持与标准KV共享基线相当的任务性能。具体而言，LCGuard可以将攻击成功率降低10%-30%，同时任务性能下降小于5%。这些结果验证了LCGuard在保障多智能体系统安全通信方面的有效性。

🎯 应用场景

LCGuard可应用于各种需要多智能体协作且涉及敏感信息处理的场景，例如：医疗诊断、金融交易、军事指挥等。通过保障智能体间通信的安全性，LCGuard能够促进多智能体系统的广泛应用，并降低潜在的安全风险。未来，该技术有望扩展到更复杂的通信模式和更广泛的应用领域。

📄 摘要（原文）

Large language model (LLM)-based multi-agent systems increasingly rely on intermediate communication to coordinate complex tasks. While most existing systems communicate through natural language, recent work shows that latent communication, particularly through transformer key-value (KV) caches, can improve efficiency and preserve richer task-relevant information. However, KV caches also encode contextual inputs, intermediate reasoning states, and agent-specific information, creating an opaque channel through which sensitive content may propagate across agents without explicit textual disclosure. To address this, we introduce \textbf{LCGuard} (Latent Communication Guard), a framework for safe KV-based latent communication in multi-agent LLM systems. LCGuard treats shared KV caches as latent working memory and learns representation-level transformations before cache artifacts are transmitted across agents. We formalize representation-level sensitive information leakage operationally through reconstruction: a shared cache artifact is unsafe if an adversarial decoder can recover agent-specific sensitive inputs from it. This leads to an adversarial training formulation in which the adversary learns to reconstruct sensitive inputs, while LCGuard learns transformations that preserve task-relevant semantics and reduce reconstructable information. Empirical evaluations across multiple model families and multi-agent benchmarks show that LCGuard consistently reduces reconstruction-based leakage and attack success rates while maintaining competitive task performance compared to standard KV-sharing baselines.