Agentic-TTT: Training test-time policy for test-time training
作者: Jiahao Lu, Mohan Kankanhalli
分类: cs.LG, cs.AI, cs.CL
发布日期: 2026-10-08
💡 一句话要点
提出Agentic-TTT以解决测试时训练中的决策问题
🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)
关键词: 测试时训练 自主学习 决策策略 参数更新 智能系统
📋 核心要点
- 现有的测试时训练方法在不同设置下效果不一，错误的算法选择可能导致性能下降。
- Agentic-TTT通过学习测试时策略来决定何时进行TTT、选择何种算法以及是否重用已有技能。
- 实验结果显示，Agentic-TTT在基准测试中效用几乎是基础模型的两倍，并能在未见领域中泛化。
📝 摘要（中文）
测试时训练（TTT）通过利用测试输入信号来调整大型语言模型（LLM）的参数，能够在特定设置下显著提升性能。然而，TTT并非在所有情况下都有效，错误的算法选择可能导致计算资源浪费或模型性能下降。为了解决这一问题，本文提出了Agentic-TTT，它学习一种测试时策略来管理TTT的决策过程。Agentic-TTT将TTT程序转化为可调用的工具，视累积技能为不断演变的部署环境，并利用观察到的效用增益来训练其策略。在基准测试中，Agentic-TTT几乎将效用提升至基础模型的两倍，并能在计算与效用之间进行权衡，且在训练期间未见过的领域中也能实现泛化。这些结果指向了自主自我改进的可能性，使模型能够从自身的部署经验中学习。
🔬 方法详解
问题定义：本文旨在解决测试时训练（TTT）中模型如何有效决策的问题。现有方法在不同环境下的适用性差，可能导致计算资源浪费或性能下降。
核心思路：Agentic-TTT通过学习一种策略来管理TTT的决策过程，使模型能够自主判断何时进行参数更新、选择合适的算法以及是否重用已有技能。
技术框架：Agentic-TTT的整体架构包括三个主要模块：决策模块（负责判断是否进行TTT）、算法选择模块（选择合适的TTT算法）和技能管理模块（管理和重用已有技能）。
关键创新：本文的主要创新在于将TTT过程转化为可调用的工具，并通过观察到的效用增益来训练决策策略。这种方法使得模型能够在不同的部署环境中自我适应和改进。
关键设计：在设计中，Agentic-TTT使用了特定的损失函数来评估决策的效用，并通过强化学习的方法来优化策略。此外，模型的参数设置和网络结构经过精心设计，以确保在不同任务中的有效性。
🖼️ 关键图片
📊 实验亮点
在基准测试中，Agentic-TTT的效用几乎是基础模型的两倍，显示出显著的性能提升。此外，该方法能够有效地在计算与效用之间进行权衡，并在未见领域中实现良好的泛化能力，展示了其强大的适应性。
🎯 应用场景
Agentic-TTT的研究成果具有广泛的应用潜力，尤其是在需要实时自我调整的智能系统中，如自动驾驶、智能客服和在线推荐系统。通过自主学习和适应，模型能够在动态环境中持续优化性能，提升用户体验和系统效率。
📄 摘要（原文）
Test-time training (TTT) adapts an LLM's parameters using signals derived from test inputs, and can make striking improvements in pre-specified settings such as IMO competitions or designated open problems. By turning deployment experience into parameter updates, TTT provides a direct mechanism for model-level self-improvement. Yet TTT is not universally beneficial: each TTT algorithm works in different settings, and applying an ill-suited method could waste test-time compute or even damage model performance. Therefore, such parameter-level self-improvement requires agency: the model must decide when TTT is warranted, which algorithm to invoke, and whether an existing skill can be reused. To fill this gap, we introduce Agentic-TTT, which learns a test-time policy to govern those decisions. Agentic-TTT turns TTT procedures into callable tools, treats accumulated skills as an evolving deployment environment, and trains its policy using the observed utility gains from its decisions. On our benchmark, Agentic-TTT nearly doubles the utility over the backbone model, learns to trade off utility against compute, and generalizes to domains unseen during training. Together, these results point toward autonomous self-improvement: models that can decide how to learn from their own deployment experience.