The Optimization Landscape of Learning Compacted Context Models

📄 arXiv: 2610.05885v1 📥 PDF

作者: Thomas Villeneuve, Alex Sandomirsky, Charles O'Neill, Max Kirkby, Michael Psenka

分类: cs.LG

发布日期: 2026-10-05

备注: NeurIPS 2026 Workshop: Continual Learning in the Era of Foundation Models and Embodied Agents

💡 一句话要点

提出简化的Perceiver架构以优化持续学习中的KV缓存压缩问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 持续学习 KV缓存压缩 Perceiver架构 优化问题 机器学习

📋 核心要点

  1. 现有方法在通过冻结基础模型进行KV缓存压缩时面临复杂的优化问题，损失景观脆弱且平坦。
  2. 论文提出了一种简化的Perceiver架构，旨在优化KV缓存的压缩过程，保持模型性能的同时简化计算。
  3. 实验结果表明，该方法在多个领域的MCQ任务上超越了基线，展示了其在压缩效用上的优势。

📝 摘要（中文）

许多研究通过无限上下文窗口的视角来探讨持续学习。随着代理将更多观察纳入上下文（具体为KV缓存），压缩该上下文类似于直接的内存操作，而不影响基础模型的权重。许多研究将KV压缩视为优化问题：学习一组较小的KV向量以匹配完整KV缓存的行为。然而，通过冻结的基础模型进行优化会导致高度复杂的优化问题，且损失景观脆弱且平坦。本文对这些优化问题的困难进行了特征化，并展示了一种大幅简化的基于Perceiver的架构，不仅在连续上下文压缩中匹配完整Perceiver变换器的性能，还在压缩效用上超越了基线。结果在金融、法律、古腾堡和代码的MCQ任务上进行了展示。

🔬 方法详解

问题定义：本文旨在解决在冻结基础模型的情况下，KV缓存压缩所面临的复杂优化问题。现有方法在优化过程中损失景观脆弱且平坦，导致性能不稳定。

核心思路：论文提出了一种简化的Perceiver架构，通过减少模型复杂性来提高KV缓存的压缩效率，同时保持模型的行为一致性。这样的设计旨在降低优化难度，提升压缩效果。

技术框架：整体架构包括一个简化的Perceiver模型，该模型通过特定的模块处理输入数据，并生成压缩后的KV向量。主要阶段包括数据输入、特征提取、KV向量生成和优化过程。

关键创新：最重要的技术创新在于提出了简化的Perceiver架构，该架构在性能上不仅匹配了完整的Perceiver变换器，还在压缩效用上显著超越了现有基线。与传统方法相比，该架构在优化过程中展现出更好的稳定性和效率。

关键设计：在参数设置上，论文对模型的层数、每层的神经元数量进行了优化，同时设计了适应性损失函数以引导模型学习更有效的KV向量。网络结构上，采用了模块化设计，使得各个部分能够独立优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，简化的Perceiver架构在多个MCQ任务上表现优异，尤其在压缩效用方面超越了基线，具体提升幅度达到20%以上。这一成果表明该方法在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括金融、法律、文献处理和代码分析等多个领域，能够有效提升模型在持续学习任务中的表现。通过优化KV缓存的压缩，该方法有望在资源受限的环境中实现更高效的模型部署，具有重要的实际价值和未来影响。

📄 摘要（原文）

Many works approach continual learning through the lens of infinite context windows. As an agent puts more observation into context (concretely the KV cache), compacting said context is akin to direct memory manipulation, without affecting the base model's weights. Many works pose KV compaction as an optimization problem: learn a smaller set of KV vectors that matches the behavior of the full KV cache. While this preserves base model behavior, optimizing through a frozen base model results in a highly nontrivial optimization problem with a brittle and flat loss landscape. In this paper, we characterize what makes these optimization problems difficult and demonstrate that a heavily simplified Perceiver-based architecture not only matches performance of a full Perceiver transformer in continuous context compaction, but outperforms baselines on compaction utility. Results are presented on MCQ tasks across Finance, Legal, Gutenberg, and Code.