Training-Free Continual Learning for Multimodal Forecasting via Prompt Evolution

📄 arXiv: 2610.27468v1 📥 PDF

作者: Laurent Mombaerts, Jonathan Taws, Jacopo Gargano, Dinesh Gaddam, Kevin George, Srijan Tiwari, Shreyas Rajesh

分类: cs.LG, cs.AI

发布日期: 2026-10-20

💡 一句话要点

提出无训练持续学习方法以解决多模态预测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 持续学习 多模态预测 文本演变 时间序列分析 大规模语言模型

📋 核心要点

  1. 现有的时间序列预测方法通常需要频繁的重新训练，导致高昂的计算成本和时间消耗。
  2. 论文提出通过文本演变的方式进行持续学习，利用固定的LLM预测器进行多模态预测，避免了传统的训练过程。
  3. 实验结果表明，演变后的指导文本在持出数据上表现优于现有的时间序列基础模型，且更新成本显著降低。

📝 摘要（中文）

适应变化世界的预测系统通常需要重新训练。本文探讨是否可以通过文本表示持续学习时间序列预测的任务。我们在一个更新的多模态基准上进行GEPA风格的提示演变，严格控制数据污染，确保预测者的知识截止日期早于每个评估窗口。使用Llama-3.3-70B的900字演变指导在持出数据上超越了时间序列基础模型（GM MASE 0.776对比0.898），并且在更新时成本低于GPU天数。我们分析了改进循环，并提供了两项扩展，证明持续提示演变是多模态预测的实用、无训练替代方案。

🔬 方法详解

问题定义：本文旨在解决时间序列预测中频繁重新训练的问题，现有方法在适应变化时效率低下且成本高昂。

核心思路：通过将持续学习的任务表示为文本，利用演变的指导块与固定的LLM预测器相结合，避免了传统的训练过程，提供了一种新的解决方案。

技术框架：整体架构包括数据收集、文本指导演变、固定LLM预测器的应用以及结果评估。数据收集涉及多模态信息，如搜索指数、货币和商品价格等。

关键创新：最重要的创新在于将预测任务转化为文本形式，通过演变指导来实现持续学习，这一方法与传统的模型训练方式本质上不同。

关键设计：在实验中，使用了900字的演变指导文本，并通过严格的数据污染控制确保预测者的知识截止日期早于评估窗口，此外，设计了可执行代码以提高预测性能。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，使用Llama-3.3-70B的900字演变指导文本在持出数据上取得了GM MASE 0.776的成绩，相较于TabPFN-TS-3的0.898有显著提升。此外，该方法在更新时的成本显著低于传统的GPU天数。

🎯 应用场景

该研究的潜在应用领域包括金融市场预测、商品价格预测以及其他需要实时适应变化的多模态数据分析场景。其实际价值在于降低了模型更新的成本和时间，未来可能推动实时预测系统的广泛应用。

📄 摘要（原文）

Adapting a forecasting system to a changing world classically means retraining. We ask whether the task of continually learning regimes for time series forecasting can be represented by a piece of text: a guidance block, evolved by outcome-driven reflection and used in a frozen LLM forecaster's prompt. On a refreshed multimodal benchmark (weekly search indices, daily currencies, daily commodities, each window paired with web-retrieved news), we run GEPA-style prompt evolution under strict contamination control to prevent the data leakage common in timeseries benchmarks: the forecaster's knowledge cutoff predates every evaluated window. A 900-word evolved guidance carried by Llama-3.3-70B beats TimeSeries Foundation Models (TSFMs) on held-out data (GM MASE 0.776 vs. 0.898 for TabPFN-TS-3), transfers to more recent models without measurable loss, and costs dollars rather than GPU-days to update. We characterize the loop: out-of-loop gains concentrate in the first reflection, in-loop improvements overstate out-of-loop gains 2-3x unless an untouched monitor arbitrates, and error-only objectives silently suppress the text modality. We provide two extensions. First, compiling the guidance into executable code with a TSFM as a callable tool recovers most of the gain deterministically. Second, ablations show the advantage widens at short horizons and that removing the news text does not hurt the guided forecaster, consistent with the text's value being distilled into policy during learning. We argue that continual prompt evolution is a practical, training-free alternative to retraining for multimodal forecasting.