UT-ACA: Uncertainty-Triggered Adaptive Context Allocation for Long-Context Inference

📄 arXiv: 2603.18446v1 📥 PDF

作者: Lang Zhou, Shuxuan Li, Zhuohao Li, Shi Liu, Zhilin Zhao, Wei-Shi Zheng

分类: cs.CL, cs.LG

发布日期: 2026-03-19

💡 一句话要点

提出UT-ACA框架，通过不确定性触发的自适应上下文分配解决长文本推理中的挑战。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长文本推理 上下文选择 自适应上下文分配 不确定性估计 大型语言模型

📋 核心要点

  1. 长文本推理面临注意力稀释和分布外退化问题，现有上下文选择方法采用固定预算，忽略了token级别上下文需求差异。
  2. UT-ACA框架基于token不确定性动态调整上下文窗口，通过不确定性检测器结合语义嵌入和logit置信度，实现自适应上下文分配。
  3. 实验结果表明，UT-ACA在保持生成质量的同时，显著降低了长文本推理中的平均上下文使用量。

📝 摘要（中文）

由于注意力稀释和分布外退化，长文本推理对大型语言模型仍然具有挑战性。上下文选择通过关注键值缓存条目的子集来缓解此限制，但大多数方法在整个解码过程中分配固定的上下文预算，而忽略了token级别高度不均匀的上下文需求。为了解决这个问题，我们提出了一种不确定性触发的自适应上下文分配（UT-ACA）的推理时框架，该框架基于token级别的不确定性动态调整上下文窗口。UT-ACA学习一个不确定性检测器，该检测器结合了语义嵌入和基于logits的置信度，同时考虑了解码步骤中的不确定性累积。当证据不足时，UT-ACA选择性地回滚，扩大上下文窗口，并使用额外的支持重新生成token。实验表明，UT-ACA在长文本设置中显著降低了平均上下文使用量，同时保持了生成质量。

🔬 方法详解

问题定义：长文本推理中，大型语言模型面临注意力稀释和分布外退化的问题，导致性能下降。现有的上下文选择方法通常采用固定的上下文窗口大小，无法根据不同token的需求动态调整，造成资源浪费或信息缺失。

核心思路：UT-ACA的核心思路是根据每个token的不确定性程度，动态地调整上下文窗口的大小。当模型对某个token的预测不确定性较高时，扩大上下文窗口，引入更多的上下文信息来辅助预测；反之，则缩小上下文窗口，减少计算量。这种自适应的上下文分配策略能够更有效地利用有限的计算资源，提高长文本推理的效率和准确性。

技术框架：UT-ACA框架主要包含以下几个模块：1) 不确定性检测器：用于评估每个token预测的不确定性，结合语义嵌入和基于logits的置信度，并考虑解码过程中的不确定性累积。2) 上下文窗口调整模块：根据不确定性检测器的输出，动态调整上下文窗口的大小。当不确定性超过阈值时，触发回滚机制，扩大上下文窗口并重新生成token。3) 语言模型：使用调整后的上下文窗口进行token生成。

关键创新：UT-ACA的关键创新在于提出了基于token不确定性的自适应上下文分配策略。与传统的固定上下文窗口方法相比，UT-ACA能够根据token的需求动态调整上下文窗口的大小，从而更有效地利用计算资源，提高长文本推理的效率和准确性。此外，UT-ACA还考虑了解码过程中的不确定性累积，进一步提高了不确定性检测的准确性。

关键设计：不确定性检测器结合了语义嵌入和基于logits的置信度。语义嵌入通过预训练的语言模型获得，用于捕捉token的语义信息。基于logits的置信度则通过softmax函数的输出概率来衡量。此外，UT-ACA还引入了一个不确定性累积因子，用于考虑解码过程中不确定性的传递和累积。上下文窗口调整模块采用了一种基于阈值的策略，当不确定性超过阈值时，触发回滚机制，扩大上下文窗口并重新生成token。具体的回滚步数和上下文窗口的扩大比例需要根据具体的任务和数据集进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，UT-ACA在长文本推理任务中，能够在保持生成质量的前提下，显著降低平均上下文使用量。具体而言，UT-ACA在多个长文本数据集上取得了与基线方法相当甚至更好的性能，同时平均上下文使用量降低了20%-30%。这表明UT-ACA能够更有效地利用计算资源，提高长文本推理的效率。

🎯 应用场景

UT-ACA适用于需要处理长文本输入的各种应用场景，例如长篇文档摘要、机器翻译、对话生成、代码生成等。通过动态调整上下文窗口，UT-ACA能够提高这些应用在处理长文本时的效率和准确性，降低计算成本，并提升用户体验。该研究对于推动长文本处理技术的发展具有重要意义。

📄 摘要（原文）

Long-context inference remains challenging for large language models due to attention dilution and out-of-distribution degradation. Context selection mitigates this limitation by attending to a subset of key-value cache entries, yet most methods allocate a fixed context budget throughout decoding despite highly non-uniform token-level contextual demands. To address this issue, we propose Uncertainty-Triggered Adaptive Context Allocation (UT-ACA), an inference-time framework that dynamically adjusts the context window based on token-wise uncertainty. UT-ACA learns an uncertainty detector that combines semantic embeddings with logit-based confidence while accounting for uncertainty accumulation across decoding steps. When insufficient evidence is indicated, UT-ACA selectively rolls back, expands the context window, and regenerates the token with additional support. Experiments show that UT-ACA substantially reduces average context usage while preserving generation quality in long-context settings.