Drift Says When, Budget Says How Much: Rate-Controlled KV Re-selection for Long-Form Multimodal Generation

📄 arXiv: 2610.31433v1 📥 PDF

作者: Bin Hu, Yingbo Xiao

分类: cs.LG

发布日期: 2026-10-22

备注: 17 pages, 7 figures, 13 tables

💡 一句话要点

提出基于漂移控制的KV重选方法以提升长文本多模态生成性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长文本生成 多模态模型 KV缓存压缩 漂移控制 视觉标记重选 生成质量提升 图像描述 对象级评估

📋 核心要点

  1. 现有的KV缓存压缩方法在长文本生成中表现不佳，尤其是在图像描述任务中，导致信息丢失和生成质量下降。
  2. 论文提出的漂移控制刷新（RCR）方法通过动态选择视觉标记，结合每个样本的控制器来优化重选频率，提升生成效果。
  3. 实验结果表明，RCR在多个模型任务设置中相较于InfiniGen提升了1.6-3.8 ROUGE-L点，并在对象级评估中表现优于InfiniGen。

📝 摘要（中文）

在多模态大语言模型中，KV缓存压缩通常在预填充时一次性选择视觉标记，并在整个生成过程中重用该选择。我们发现这种一次性选择在长文本生成中存在严重局限，尤其是在详细图像描述中，即使是使用未压缩答案的注意力进行选择的理想情况，其ROUGE-L一致性也仅为0.44-0.52。我们提出了漂移控制刷新（RCR）方法，允许漂移决定何时和何处重新选择，同时通过每个样本的控制器调节刷新频率。RCR在多个模型任务设置中表现优于现有的逐步检索方法InfiniGen，并在对象级评估中显示出更高的F1分数。

🔬 方法详解

问题定义：本论文旨在解决长文本生成中KV缓存压缩方法的局限性，尤其是在图像描述任务中，现有方法的单次选择导致信息丢失和生成质量下降。

核心思路：论文提出的漂移控制刷新（RCR）方法允许模型根据注意力漂移动态选择视觉标记，同时通过每个样本的控制器调节重选频率，以提高生成质量。

技术框架：RCR的整体架构包括低秩漂移检测器、候选限制重选机制和GPU上的决策模块，确保在生成过程中实时调整视觉标记的选择。

关键创新：RCR的核心创新在于其动态重选机制，区别于传统的固定阈值方法，能够根据样本的漂移情况灵活调整重选策略，从而提升生成效果。

关键设计：RCR设计了一个低秩漂移检测器，结合样本控制器来调节重选频率，确保在不同任务和模型中保持一致的性能表现。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，RCR在五个模型任务设置中比InfiniGen提升了1.6-3.8 ROUGE-L点，并在对象级评估中对比InfiniGen在两个模型上表现出更高的F1分数，证明了其有效性。

🎯 应用场景

该研究的潜在应用领域包括长文本生成、图像描述、视频理解等多模态任务，能够显著提升生成模型在复杂场景下的表现，具有广泛的实际价值和未来影响。

📄 摘要（原文）

KV cache compression for multimodal LLMs usually selects the visual tokens to keep once, at prefill, and reuses that selection for the whole generation. We show that this one-shot selection is severely limited on long-form generation: on detailed image description, even an oracle that selects with the attention of the uncompressed answer reaches only 0.44-0.52 ROUGE-L agreement with the uncompressed output, because the evidence the model reads moves as the description unfolds. Re-selecting whenever attention drifts out of the kept set is the natural remedy, but we find that a fixed drift threshold fails systematically: drift magnitudes are not comparable across samples, so low-drift samples are almost never refreshed although they benefit the most. We propose Rate-Controlled Refresh (RCR), which lets drift decide when and where to re-select while a per-sample controller regulates how often, combined with a low-rank drift detector, candidate-restricted re-selection, and a decision that stays on the GPU. With one setting for all models and tasks, RCR outperforms the per-step retrieval method InfiniGen by 1.6-3.8 ROUGE-L points on five of six model-task settings with no significant difference on the sixth, while staying within 1.7 points of exact per-step re-selection, with comparable estimated data movement per step and a 4x smaller GPU-resident detector. On DetailCaps, drift-chosen timing beats random timing at the same refresh rate and periodic timing even at a higher rate, by 2.0-5.0 points. On pre-registered video description, where drift is homogeneous across samples, RCR is on par with InfiniGen on Qwen2-VL and exceeds it on Qwen3-VL but no longer beats a fixed threshold at the nearest tested rates, consistent with the diagnosis; object-level evaluation shows that RCR achieves higher object F1 against the uncompressed output than InfiniGen on two of three models.