Can Test-Time Memory Evolution Outperform Test-Time Training for Scientific Discovery?

📄 arXiv: 2610.32046v1 📥 PDF

作者: Yepeng Liu, Shengmai Chen, Xuandong Zhao, Chengzhi Liu, Dawn Song, Xin Eric Wang, Yuheng Bu

分类: cs.AI, cs.LG

发布日期: 2026-10-23

💡 一句话要点

提出测试时间记忆演化以解决测试时间训练的效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 测试时间训练 记忆演化 科学发现 计算效率 外部记忆 模型适应 数学任务

📋 核心要点

  1. 现有的测试时间训练方法在科学发现任务中引入了额外的计算成本，影响了效率。
  2. 本文提出的测试时间记忆演化方法通过更新外部记忆而非模型权重，实现了高效的适应。
  3. 实验结果表明，TTME在五个数学任务上均优于TTT，显著降低了计算成本和运行时间。

📝 摘要（中文）

近期的测试时间训练（TTT）框架使得开放权重的大型语言模型在科学发现任务中超越了仅推理的前沿模型。然而，TTT在发现过程中引入了额外的计算成本，因此在扩展到更大模型时，计算效率成为重要考虑因素。为此，本文提出了一种高效的测试时间适应方法——测试时间记忆演化（TTME），作为TTT的替代方案。TTME通过提炼经验不断更新外部记忆，以指导后续发现，而无需更新模型权重。我们的评估显示，TTME在所有五个数学任务上均优于TTT，同时在FLOPs上减少了82.8%-84.6%的计算成本，在运行时间上减少了47.7%-58.4%。这些结果确立了TTME在评估的发现设置中作为TTT的有效且计算高效的替代方案。

🔬 方法详解

问题定义：本文旨在解决测试时间训练（TTT）在科学发现任务中引入的高计算成本问题。TTT需要在线更新模型权重，导致效率低下，尤其在处理大型模型时尤为明显。

核心思路：论文提出的测试时间记忆演化（TTME）方法，通过不断更新外部记忆来提炼经验，从而指导后续的发现过程，而无需对模型权重进行更新。这种设计旨在提高计算效率，降低资源消耗。

技术框架：TTME的整体架构包括外部记忆模块和经验提炼机制。外部记忆模块负责存储和更新发现过程中积累的经验，而经验提炼机制则用于指导后续的任务执行。整个流程在保持模型不变的情况下，动态调整外部记忆内容。

关键创新：TTME的核心创新在于其不依赖于模型权重的更新，而是通过外部记忆的演化来实现适应。这一方法与传统的TTT方法本质上不同，后者需要频繁的权重更新，导致计算开销大。

关键设计：TTME的设计中，外部记忆的更新策略和经验提炼算法是关键。具体的参数设置和损失函数设计需根据任务特性进行调整，以确保记忆的有效性和适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，TTME在所有五个数学任务上均优于TTT，计算成本在FLOPs上减少了82.8%-84.6%，运行时间减少了47.7%-58.4%。这些显著的性能提升证明了TTME作为TTT的有效替代方案的潜力。

🎯 应用场景

该研究的潜在应用领域包括科学研究、数据分析和自动化推理等。TTME方法的高效性使其适合于需要快速响应和实时更新的场景，能够在大规模数据处理和复杂模型应用中发挥重要作用，未来可能推动科学发现的进程。

📄 摘要（原文）

Recent \emph{test-time training} (TTT) frameworks have enabled open-weight large language models (LLMs) to outperform inference-only frameworks powered by frontier models on scientific discovery tasks. However, TTT introduces additional computational cost for online weight updates during the discovery process, making computational efficiency an important consideration when scaling to larger models. This motivates us to explore an efficient \emph{test-time adaptation} method for scientific discovery. We introduce \emph{Test-Time Memory Evolution} (TTME), a plug-and-play test-time adaptation method, as an alternative to TTT. TTME continually updates the external memory by distilling the experience to guide subsequent discovery without updating model weights. To have a clean comparison, we evaluate TTME and TTT under the same discovery framework, replacing only the test-time adaptation method. Our evaluation shows that TTME outperforms TTT on all five mathematical tasks, while reducing computational cost by $82.8$-$84.6\%$ in FLOPs and $47.7$-$58.4\%$ in runtime. These results establish TTME as an effective and computationally efficient alternative to TTT in the evaluated discovery settings.