Self-Guided Test-Time Training for Long-Context LLMs

📄 arXiv: 2607.09415v1 📥 PDF

作者: Xinyu Zhu, Zhe Xu, Xiaohan Wei, Yunchen Pu, Fei Tian, Chonglin Sun, Kaushik Rangadurai, Hua Zhi, Frank Shyu, Sandeep Pandey, Luke Simon, Yu Meng, Xi Liu

分类: cs.CL, cs.AI

发布日期: 2026-07-10

💡 一句话要点

提出自指导测试时训练以提升长上下文LLM的性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长上下文处理 测试时训练 自指导学习 语言模型 性能提升

📋 核心要点

  1. 现有方法在处理长上下文时，简单扩展上下文窗口并不能有效利用长输入，导致准确性下降。
  2. 本文提出自指导测试时训练（S-TTT），通过识别相关证据范围来优化模型的适应过程。
  3. 在LongBench-v2和LongBench-Pro基准上，S-TTT显著提高了模型的准确性，最高提升15%。

📝 摘要（中文）

长上下文处理在大型语言模型（LLMs）中变得日益重要，但简单扩展上下文窗口并不能保证有效利用长输入。随着输入长度的增加，模型的准确性往往下降，表明模型在识别和使用与问题最相关的证据方面仍然存在困难。本文提出了一种自指导测试时训练（S-TTT）的方法，模型在适应之前识别应学习的证据范围，仅对这些选定范围应用标准语言建模训练目标。在两个具有挑战性的长上下文推理基准上，S-TTT显著提高了Qwen3-4B-Thinking-2507和Llama-3.1-8B-Instruct的准确性，最高可达15%的相对提升。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在长上下文处理中的性能下降问题。现有的测试时训练方法在处理整个长上下文时成本过高，而随机采样的训练范围可能引入噪声，甚至降低模型性能。

核心思路：论文提出的自指导测试时训练（S-TTT）方法，首先让模型识别出应学习的证据范围，然后仅对这些范围进行适应训练。这样可以有效减少无关信息的干扰，提高模型的学习效率。

技术框架：S-TTT的整体架构包括两个主要阶段：第一阶段是证据范围的识别，第二阶段是基于识别结果进行的适应训练。模型通过分析输入上下文，选择出与特定问题相关的证据范围。

关键创新：S-TTT的核心创新在于通过自我引导的方式选择训练范围，避免了随机采样带来的噪声影响。这一方法与传统的测试时训练方法相比，能够更有效地利用长上下文信息。

关键设计：在实现中，S-TTT使用标准的语言建模损失函数，仅对选定的证据范围进行训练。模型的参数设置和网络结构保持与基础模型一致，确保适应过程的高效性。通过这种设计，模型能够在长上下文中更好地聚焦于相关信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在LongBench-v2和LongBench-Pro基准测试中，S-TTT方法在Qwen3-4B-Thinking-2507和Llama-3.1-8B-Instruct模型上均实现了显著的性能提升，最高可达15%的相对提升，展示了其在长上下文推理中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、问答系统和对话生成等。通过提升长上下文的处理能力，S-TTT可以在实际应用中提高模型的准确性和响应质量，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Long-context processing has become increasingly important for large language models (LLMs), but simply extending the context window does not guarantee effective utilization of long inputs. As input length grows, accuracy often degrades, indicating that models still struggle to identify and use the evidence most relevant to a question. A promising way to improve long-context utilization is test-time training (TTT), which treats the test context as a training example for instance-specific parameter adaptation. However, applying TTT to the entire long context is prohibitively expensive, while adapting on randomly sampled spans introduces severe noise. Because most spans in a long context are irrelevant to the specific question, training on them may even degrade the base model's performance. Our preliminary study shows that TTT is highly sensitive to training-span quality: on LongBench-v2, TTT on randomly sampled spans hurts performance, whereas TTT on oracle spans substantially improves it. Motivated by this, we propose a simple method, Self-Guided TTT (S-TTT): before adaptation, the model identifies the evidence spans it should learn from, and the standard language-modeling training objective is applied only to those selected spans. On two challenging long-context reasoning benchmarks, LongBench-v2 and LongBench-Pro, S-TTT improves accuracy for both Qwen3-4B-Thinking-2507 and Llama-3.1-8B-Instruct, achieving up to a 15% relative improvement.