Attenuated in-context identification in time-series foundation models: diagnosis under counterfactual inputs and repair by synthetic forced-system fine-tuning
作者: Hong-In Won
分类: cs.LG, eess.SY
发布日期: 2026-10-06
备注: 12 pages, 4 figures, 5 tables
💡 一句话要点
提出时间序列基础模型的反事实输入诊断与修复方法
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 时间序列模型 反事实输入 动态识别 微调方法 工程系统 协变量感知 系统识别
📋 核心要点
- 现有的时间序列基础模型在处理反事实输入时存在动态识别能力不足的问题，导致预测效果减弱。
- 论文提出了一种通过合成强制系统微调的方法，旨在恢复模型的响应幅度并提高预测准确性。
- 实验结果显示，经过微调的模型在多个测试场景中显著优于传统的系统识别方法，提升幅度达到0.83-0.96的灵敏度。
📝 摘要（中文）
本文探讨了协变量感知的时间序列基础模型（TSFMs）在强制工程系统中的应用，旨在提供无训练的“如果”答案。通过对Chronos-2、TimesFM-2.5和TabPFN-TS的比较，发现TimesFM-2.5和TabPFN-TS在默认协变量接口下是无记忆的，预测效果与输入变化的关系完全一致。Chronos-2虽然能够识别动态，但其预测效果明显减弱。通过对合成强制系统进行26分钟的微调，模型的响应幅度得以恢复，并在Wiener-Hammerstein和未见摩擦类的结构无关识别中表现优异。实验表明，反事实输入对模型的动态表示能力具有重要影响。
🔬 方法详解
问题定义：本文旨在解决时间序列基础模型在反事实输入下的动态识别能力不足的问题。现有方法在处理输入变化时，预测效果往往不准确，导致模型性能下降。
核心思路：论文提出通过对合成强制系统进行微调，来恢复模型的响应幅度。该方法利用反事实输入对模型进行测试，确保模型能够准确表示动态特性。
技术框架：整体架构包括模型的预训练阶段和微调阶段。在预训练阶段，模型通过协变量接口进行动态识别；在微调阶段，通过合成强制系统的训练数据来优化模型性能。
关键创新：最重要的技术创新在于通过合成强制系统的微调，显著提高了模型在反事实输入下的响应能力。这一方法与传统的系统识别方法相比，能够更好地捕捉动态特性。
关键设计：在模型设计中，采用了特定的损失函数来优化响应幅度，并通过调整网络结构来增强模型的动态表示能力。实验中使用了多种参数设置，以确保模型在不同场景下的适应性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，经过26分钟的微调，模型的响应灵敏度提升至0.83-0.96，显著优于传统的结构无关识别方法。同时，在多个测试场景中，微调后的模型在动态识别能力上表现出色，尤其是在Wiener-Hammerstein和摩擦类的测试中，展现了明显的性能提升。
🎯 应用场景
该研究的潜在应用领域包括工业自动化、智能制造和过程控制等。通过提高时间序列模型在反事实输入下的预测能力，可以为工程系统的优化决策提供更为准确的依据，进而提升系统的整体效率和可靠性。
📄 摘要（原文）
Covariate-aware time-series foundation models (TSFMs) promise training-free what-if answers for instrumented plants: the change in output that a different future input would cause. We test this on forced engineering systems with exact counterfactuals, comparing Chronos-2, TimesFM-2.5 and TabPFN-TS with classical system identification fitted to the same context. Through their default covariate interfaces, TimesFM-2.5 and TabPFN-TS are memoryless: the predicted effect of an input change is a same-time function of that change ($R^2 = 1.000$ for TimesFM-2.5). Chronos-2 identifies dynamics in context but attenuates them. Its predicted effect is 0.33-0.80 of the true effect, its recovered impulse response has the wrong shape, and its error on a one-degree-of-freedom oscillator levels off at 0.57 with 8192 context samples, where ARX fitted to 256 samples reaches 0.02. Context dither at inference lowers the what-if error on all six synthetic classes without training. A 26-minute fine-tune on synthetic forced systems restores the response magnitude (sensitivity 0.83-0.96) and outperforms structure-agnostic identification on Wiener-Hammerstein and a held-out friction class. A specialised in-context identifier trained on the same data comes close, so the forced-system data carry most of the gain. On three of four measured plants classical identification remains clearly better, and the fine-tuned model loses part of its univariate forecasting skill. Paired counterfactual inputs, together with shuffled future inputs on measured records, test two properties: whether the covariate interface can represent dynamics and whether the pretraining prior covers the plant's time scale. Only the counterfactual pairs expose the attenuation.