InfiniteICL: Breaking the Limit of Context Window Size via Long Short-term Memory Transformation

📄 arXiv: 2504.01707v2 📥 PDF

作者: Bowen Cao, Deng Cai, Wai Lam

分类: cs.CL, cs.AI

发布日期: 2025-04-02 (更新: 2025-04-03)

💡 一句话要点

InfiniteICL：通过长短期记忆转换突破上下文窗口大小限制

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 上下文学习 长文本处理 知识迁移 参数更新 长短期记忆网络

📋 核心要点

  1. 大型语言模型受限于有限的上下文窗口，无法有效处理超长文本，影响了上下文学习的性能。
  2. InfiniteICL将上下文知识转化为模型参数更新，模拟人类短期记忆到长期记忆的转换过程。
  3. 实验表明，该方法在减少内存使用和保持性能方面表现出色，尤其是在长文本处理中。

📝 摘要（中文）

上下文学习(ICL)对于大型语言模型(LLMs)至关重要，但其有效性受到有限上下文窗口的限制，尤其是在超长上下文中。为了克服这个问题，我们引入了InfiniteICL，该框架将LLMs中的上下文和参数分别类比于人类认知系统中的短期和长期记忆，专注于将临时上下文知识转换为永久参数更新。这种方法显著减少了内存使用，在不同的输入长度下保持了强大的性能，并且理论上可以通过上下文知识的提取、选择和巩固原则实现无限的上下文集成。评估表明，我们的方法在事实回忆、有根据的推理和技能获取任务中，将上下文长度减少了90%，同时实现了完整上下文提示的103%的平均性能。当在复杂的真实世界上下文中（长度高达200万个token）进行连续的多轮转换时，我们的方法超越了完整上下文提示，同时仅使用了原始上下文的0.4%。这些发现突出了InfiniteICL通过打破传统上下文窗口大小的限制来增强LLMs的可扩展性和效率的潜力。

🔬 方法详解

问题定义：现有的大型语言模型（LLMs）在进行上下文学习（ICL）时，受到有限的上下文窗口大小的限制。这意味着模型只能利用有限长度的输入文本作为上下文信息，这对于需要处理超长文本的任务（例如，长篇小说理解、大规模知识库检索等）来说是一个严重的瓶颈。现有的解决方案，如增加上下文窗口大小，会导致显著的内存消耗和计算成本增加，并且可能存在性能瓶颈。

核心思路：InfiniteICL的核心思路是将上下文学习过程类比于人类的认知过程，即短期记忆（上下文）和长期记忆（模型参数）。该方法旨在将临时的上下文知识转化为永久的模型参数更新，从而突破上下文窗口大小的限制。通过这种方式，模型可以逐步积累和整合来自不同上下文的信息，而无需一次性处理整个长文本。

技术框架：InfiniteICL的技术框架主要包含三个阶段：上下文知识提取（Context Knowledge Elicitation）、上下文知识选择（Context Knowledge Selection）和上下文知识巩固（Context Knowledge Consolidation）。首先，从输入上下文中提取关键信息。然后，根据信息的重要性选择需要保留的信息。最后，将选择的信息整合到模型的参数中，实现知识的积累。这个过程可以迭代进行，允许模型逐步学习和适应新的信息。

关键创新：InfiniteICL最重要的创新点在于它将上下文学习从一种依赖于有限上下文窗口的范式，转变为一种可以逐步积累知识并更新模型参数的范式。与传统的ICL方法相比，InfiniteICL不需要一次性处理整个上下文，从而显著降低了内存消耗和计算成本。此外，InfiniteICL还能够处理任意长度的上下文，理论上可以实现无限的上下文集成。

关键设计：InfiniteICL的关键设计包括：1) 使用长短期记忆（LSTM）网络来模拟人类的短期和长期记忆；2) 设计了专门的损失函数来鼓励模型将上下文知识转化为参数更新；3) 采用了知识选择机制来过滤掉不重要的信息，从而提高学习效率。具体的参数设置和网络结构需要根据具体的任务进行调整，但整体框架保持不变。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，InfiniteICL在事实回忆、有根据的推理和技能获取任务中，将上下文长度减少了90%，同时实现了完整上下文提示的103%的平均性能。在处理长度高达200万个token的复杂真实世界上下文时，InfiniteICL超越了完整上下文提示，同时仅使用了原始上下文的0.4%。这些结果表明，InfiniteICL在提高LLMs的可扩展性和效率方面具有显著的优势。

🎯 应用场景

InfiniteICL具有广泛的应用前景，例如长文本理解、知识库问答、对话系统和代码生成等领域。它可以帮助LLMs更好地处理超长文本，提高模型的性能和效率。此外，InfiniteICL还可以应用于资源受限的设备上，例如移动设备和嵌入式系统，从而实现更广泛的AI应用。

📄 摘要（原文）

In-context learning (ICL) is critical for large language models (LLMs), but its effectiveness is constrained by finite context windows, particularly in ultra-long contexts. To overcome this, we introduce InfiniteICL, a framework that parallels context and parameters in LLMs with short- and long-term memory in human cognitive systems, focusing on transforming temporary context knowledge into permanent parameter updates. This approach significantly reduces memory usage, maintains robust performance across varying input lengths, and theoretically enables infinite context integration through the principles of context knowledge elicitation, selection, and consolidation. Evaluations demonstrate that our method reduces context length by 90% while achieving 103% average performance of full-context prompting across fact recall, grounded reasoning, and skill acquisition tasks. When conducting sequential multi-turn transformations on complex, real-world contexts (with length up to 2M tokens), our approach surpasses full-context prompting while using only 0.4% of the original contexts. These findings highlight InfiniteICL's potential to enhance the scalability and efficiency of LLMs by breaking the limitations of conventional context window sizes.