LatComm: Reusable Context Compression for Latent Communication between Large Language Models

📄 arXiv: 2610.26840v1 📥 PDF

作者: Huawei Lin, Jinting Liu, Tan Yu, Weijie Zhao

分类: cs.CL, cs.AI

发布日期: 2026-10-19

备注: 17 pages, 9 figures, 11 tables. Under Review

💡 一句话要点

提出LatComm以解决大语言模型间的上下文传递效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 潜在通信 上下文压缩 大语言模型 问答系统 交叉注意力 信息处理 模型重用

📋 核心要点

  1. 现有方法在处理多个问题时，无法有效重用上下文，导致计算资源浪费和响应时间延长。
  2. LatComm通过将上下文编码与问题分离，允许接收模型根据具体问题选择性读取上下文，从而提高了效率。
  3. 在多个数据集上，LatComm显著提升了问答准确率，并大幅减少了输入量和响应时间，展现出优越的性能。

📝 摘要（中文）

结合多个大型语言模型（LLMs）的系统通常使用相同的上下文来处理多个问题。当上下文以文本形式在模型间传递时，接收模型需要对每个问题重新处理所有的标记。为避免这种成本，需要一种紧凑、可重用且可被不同LLM读取的上下文表示。本文提出LatComm，一种潜在通信接口，通过将编码与读取分离，提供了这三种特性：上下文在没有问题的情况下被编码一次，接收方根据每个问题选择读取内容。一个冻结的上下文编码器LLM将上下文压缩为固定大小的数据包并发送给另一个冻结的接收LLM，后者通过交叉注意力读取数据包，读取过程由其提示计算的门控控制。在12个多项选择问答数据集上，LatComm在单向量基线上的平均准确率提高了最多10.2个百分点。在QuALITY上，它将接收方的输入减少了57倍，并使文章问题的回答速度提高了3倍。

🔬 方法详解

问题定义：本文旨在解决在多个大型语言模型间传递上下文时的效率问题。现有方法在处理每个问题时都需重新处理所有上下文标记，导致计算资源浪费和响应延迟。

核心思路：LatComm的核心思想是将上下文的编码与读取过程分离。上下文只需编码一次，接收模型可以根据每个问题选择性地读取相关信息，从而提高了上下文的重用性和处理效率。

技术框架：LatComm的整体架构包括两个主要模块：一个冻结的上下文编码器LLM和一个冻结的接收LLM。上下文编码器将上下文压缩为固定大小的数据包，并通过交叉注意力机制将其发送给接收模型，接收模型根据提示计算的门控来选择读取内容。

关键创新：LatComm的主要创新在于其潜在通信接口的设计，能够同时实现上下文的紧凑性、可重用性和跨模型的可读性。这一设计与现有的压缩和潜在通信方法相比，提供了更全面的解决方案。

关键设计：在技术细节上，LatComm使用了固定大小的数据包来传递上下文，并通过交叉注意力机制进行信息读取。门控的计算依赖于接收模型的提示，从而实现了灵活的上下文选择和高效的信息处理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，LatComm在12个多项选择问答数据集上相较于单向量基线提高了最多10.2个百分点的平均准确率。在QuALITY数据集上，LatComm将接收方的输入减少了57倍，并使得回答文章问题的速度提高了3倍，展现出显著的性能优势。

🎯 应用场景

LatComm的研究成果在多个领域具有广泛的应用潜力，尤其是在需要高效信息处理的问答系统、对话系统和多模态交互中。通过提高上下文的重用性和处理速度，LatComm能够显著提升用户体验和系统响应效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Systems that combine several large language models (LLMs) often use one context for many questions. When the context is passed between models as text, the receiving model processes all of its tokens again for every question. Avoiding this cost requires a context representation that is compact, reusable across questions, and readable by a different LLM. Existing compression and latent communication methods each provide only some of these properties. We introduce LatComm, a Latent Communication interface that provides all three by separating encoding from reading: the context is encoded once without the question, and the receiver selects what to read for each question. A frozen context encoder LLM compresses the context into a fixed-size packet and sends it to a different frozen receiver LLM, which reads the packet through cross-attention, with gates computed from its prompt. On 12 multiple-choice question-answering datasets, LatComm improves average accuracy over single-vector baselines by up to 10.2 points. On QuALITY, it reduces the receiver's input by 57x and answers the questions of an article 3x faster.